PDF《淘宝开源之路》

淘宝开源之路 淘宝开源委员会 朱照远(叔度) 2012.

07.19

1 议程

2

一、淘宝网的简介

二、淘宝软件基础设施

三、淘宝开源成果一览

四、淘宝开源策略

五、小结 淘宝网简介 ? 淘宝网:网络购物 ? 2011年网购交易额约7849亿元,淘宝网占8成;

淘宝创造的直接就业机会是270.8万?网络流量排名(Alexa统计) C国际:13 (12~18) C国内:3 ? 现在每天7000万以上的UV;

去年双12大促有1.2 亿多的UV,CDN实际流量峰值为856Gbps ? 现在每天的25多亿的页面浏览 ? 网站上有约800个应用

3 议程

4

一、淘宝网的简介

二、淘宝软件基础设施

三、淘宝开源成果一览

四、淘宝开源策略

五、小结 淘宝系统框架示意图

5 软件基础设施的规划

6 主要所采用的软件 ? CDN:世界上流量最大的、面向图片的CDN系统 C基于开源软件LVS+Haproxy+Squid+Bind上开发的CDN系统C现有103节点,双12支持了856Gbps实际流量;

约5000台 服务器 C今年会建设到2400Gbps的承载能力 ? TFS:自主开发的分布式对象存储系统 C可存储容量6.2P,实际使用4.06P;

今年会建设到12P ? TAIR:淘宝的分布式缓存和K/V存储 C集成了开源的Redis和LevelDB存储引擎 C提供跨机房容灾的解决方案 ? OceanBase:淘宝的分布式数据库系统 C支持千亿条记录级别的数据库、支持事务

7 主要所采用的软件(2) ? 海量数据:采用开源的Hadoop平台 C现在单一集群到2500台服务器的规模 C系统可存储容量为47.02PB,已使用32.47PB,历史数 据为压缩存储 C每天新增原始数据量为50T左右,存储净增量约为36T C每天运行的作业数为10万以上,每日处理数据为2.5PB ? 核心数据库:采用开源的MySQL,加上高速的非 易失存储,以及多层级的系统优化 ? 服务器平台:Nginx 部署200多个应用,约3000 台机器;

完成TMD等重要防攻击软件,Tengine 项目开源

8 主要模块所采用的软件(3) ? 底层的支撑软件: C在OpenJDK基础上开发和维护Taobao JVM C在Red Hat基础上维护自己的Linux内核 C在Sheepdog上实现了KVM的虚拟化弹性计算平台 C在LVS基础上实现负载均衡解决方案 C用开源软件实现了高流量的网络镜像项目 ? 可以说淘宝网平台建立在开源软件和自主开发的 基础上.

9 议程

10

一、淘宝网的简介

二、淘宝软件基础设施

三、淘宝开源成果一览

四、淘宝开源策略

五、小结 大体情况 ? 淘宝自开源以来,共开源自主开发软件40余个 ? 涵盖前端、后端、数据库、文件系统、硬件等多 方面 ? 对淘宝使用的若干项目贡献了代码

11 TFS ? Taobao File System ? http://tfs.taobao.org ? 分布式文件系统 C高可靠性 C高可用性 C为海量小文件特殊优化 C大数据量高并发 C低成本 C线性扩容 C支持自定义文件名

12 Tair ? Taobao Pairs ? http://tair.taobao.org ? K/V储存特点 C分布式 C自动容灾 C支持持久化 C支持多种存储引擎 ? Mdb ? Redis ? LevelDB ? …

13 OceanBase ? 淘宝的分布式数据库系统 ? http://oceanbase.taobao.org ? 特点 C支持千亿条记录级别的数据库 C兼容MySQL协议,融合SQL与NOSQL技术 C支持事务 C支持线性扩展 C在淘宝大数据量得到验证

14 KISSY ? 一个强大的JavaScript框架 ? http://docs.kissyui.com ? 特点 C模块清晰 C扩展方便 C功能全面 C组件丰富

15 Linux内核 ? http://kernel.taobao.org ? Ext4文件系统核心开发团队之一 ? 被Linux官方接受150+个patch ? 全球最活跃Linux开发团队排115名 C自2006年起统计 ? 开源虚拟化项目sheepdog C主要代码贡献者和维护者