PDF《腾讯移动分析Crash系统实》

0000000100006270 FirstViewController.m:36

0000000100006298 FirstViewController.m:37 000000010000629c FirstViewController.m:37 00000001000062bc FirstViewController.m:39 000000010000629c <

00000001000062a8 <

00000001000062bc 目标地址 FirstViewController.m:37 FirstViewController.m:39 00000000100062a8 ->

FirstViewController.m:37 1. dSYM文件内容 2. 解析后地址与文件行号映射关系 3. 计算目标地址行号 特征堆栈提取 ?结构化数据 ?分级优化 ?智能路径分析 直接相关性 二次优化 App 组件 系统 main start AppMain UI View MTA SDK Button NSRangeException solution 实时多维检索--ElasticSearch ?批量插入/更新 ?cache ?按时间维度冷热数据分离 ?3个月之前数据迁移到磁盘 ?按数据维度切割 ?结构化数据 ? 版本 ? 机型 ?全文搜索 ? 堆栈 ? 特性堆栈 ?按前台访问LRU分级 ?天访问 >

周访问 >

月访问 ?按应用规模分库 client ClientNode ClientNode DataNode DataNode DataNode MasterNode MasterNode MasterNode Query Update Insert client Index索引 translog cache translog memory buffer disk cache disk reflesh flush sync 秒级实时计算系统 特性: ?增量计算模型:单层单节点内计算 小段时间(秒级)的增量,定期发 送到下一层节点进行汇总 ?全整数运算:减少字符串处理开销 ?全内存处理:文件持久化支持,保 证端到端的消息可靠传输 ?智能容灾策略:本地文件备份、双 机热备、一致性hash Access Center ESP ESC ESP ESC Redis/CKV LevelDB Access:协议的解析,数据的清洗及格式化 ESP: Event Streaming Processor,负责将数据 按照app、UID重新组织并计算PV、UV等app分 析指标 ESA:Event Streaming Aggregator,负责将 ESP实时计算后的数据汇总,并将汇总结果写入 到存储节点中 ESC:Event Streaming Coder,主要负责将系 统不可枚举的数据类型编码成为整型,并将对应 关系持久化 Center:系统的中心节点,负责系统配置、数 据路由的管理,并承担容灾切换功能 全内存实时Event处理系统 ?数据组织 ?万物皆 整型 ?所有非整型的数据类型通过算法映射为 整型 ?可扩展的Event结构 ? 支持半自动化的序列化/反序列化机制 ? 紧凑的二进制编码 ?增量计算模型 ? Processor:负责具体业务逻辑的计 算处理 ? Data Holder:负责保存增量结果数 据,以及计算依赖的中间状态数据 ? Emitter:负责定期输出清空增量计算 结果 单机性能优化--海量并发连接 ?C1机型:四核3.3Ghz/8GB/500GB ?单个TCP长连接消耗 3KB ?单机支持 200W+ 并发连接 ? TCP(1.6K) ? sock_inode_cache(0.8K) ? eventpoll_epi(0.13K) ? eventpoll_pwq(0.07K) ? filp(0.2K) ? dentry(0.2K) 优化:硬件->

驱动->

系统->

协议栈->

架构 单机性能优化--硬件性能挖掘 执行 35W 次计算结果(SSE 快接近

6 倍) Intel SSE4.2 CRC32与常规CRC32性能对比 unsigned int _mm_crc32_u8(…) unsigned int _mm_crc32_u16(…) unsigned int _mm_crc32_u32(…) unsinged __int64 _mm_crc32_u64(…) SSE4.2检测 SSE4.2 CRC32支持 单机性能优化--操作系统--配置部分 配置类型 配置项 值 系统打开文件资源限制 /proc/sys/fs/file-max

2500000 进程打开文件句柄限制 /proc/sys/fs/nr_open

2500000 Epoll监听fd个数限制 /proc/sys/fs/epoll/max_user_watches

2500000 内核分配给TCP内存 /proc/sys/net/ipv4/tcp_mem

754752 1006336

1509504 Listen fd backlog /proc/sys/net/core/somaxconn

1024 fast recycling of TWsocketsv /proc/sys/net/ipv4/tcp_tw_recycle

1 Reuse TW socket /proc/sys/net/ipv4/tcp_tw_reuse