PDF《淘宝开源之路》

27 MetaQ ? MetaQ是类似于kafka的Java消息中间件 ? http://metaq.taobao.org/ ? 主要特性: C高性能,单机2K消息,TPS在4.5W/S以上,网卡可跑 满 C支持顺序消息 C支持服务端消息过滤 C支持Consumer端事务消费消息 C支持完全的分布式部署,Producer、Consumer、 Server都可以分布 C支持广播消费、集群消费两种消费方式

28 TDDL ? TDDL(Taobao Distributed Data Layer) 是一套 分布式数据访问引擎 ? https://github.com/taobao/tb_tddl ? 核心的目标是为了解决以下三个问题: C数据访问路由 .将针对数据的读写请求发送到最合适 的地方 C数据的多向非对称复制.一次写入,多点读取 C数据存储的自由扩展.不再受限制于单台机器的容量 瓶颈与速度瓶颈,平滑迁移

29 Automan ? 淘宝自动化测试组自主研发的一套界面自动化测 试框架 ? http://code.taobao.org/p/AutoMan/wiki/in dex/ ? 特点 C框架的核心是基于界面模型的设计,将 元素查找 和 控件操作 分开. C元素查找的方式定义在PageModel 的Web服务器上 ,在脚本中只说明使用控件的名称和对该控件的操作 方式 C上手快、易维护

30 Toast ? http://toast.taobao.org ? 自动化测试任务调度平台.目标是在复杂环境下( 多种业务逻辑,多种应用环境)的通用调度平台, 主要提供任务的定时运行、 手动运行以及基于持 续集成等方式的触发执行;

同时提供了测试机的 简单监控和管理功能,支持多测试机并行执行任 务以及任务的分阶段执行.

31 SQLAutoReview ? Sqlautoreview是一个SQL自动化审核程序 ? http://code.taobao.org/p/sqlautoreview/sr c/ ? 主要有三方面的功能: C从SQLMap中解析出SQL C为每台SQL生成建index的脚本 C将同一个表的建index的脚本进行自动聚合,减少索引 变动

32 Diamond ? Diamond是一个持久配置管理中心,提供稳定的 配置访问 ? http://code.taobao.org/p/diamond/wiki/in dex/ ? 特点 C简单 ?HTTP接口获得配置简单灵活 C可靠 ?多级保护和容灾支持.在任何异常情况下不影响应 用的启动 ?配置变更通知可靠,保证客户端能拿到最新数据

33 定制的低功耗服务器 ? 每个热插拔模块2个nodes ? 每个NODES 3块硬盘 ? 支持

24 x 2.5 SATA/SSD ? 选择2U

8 nodes 的原因: C SuperServer: 2U

8 nodes 支持热插拔设 计. C 降低功耗(2U 8nodes 共享4个系统FAN) C 成本更低(8nodes共享1个机箱,1u 4nodes 共享1个机箱) C 2U TWIN机箱和所使用的主板是成熟产品 ? 单服务器配置: C Intel? Atom? D525 with

2 cores C Intel? ICH9R Chipset C 4GB memory DDR23 800MHZ SO- DIMM w/o ECC C LAN: Intel 82574L 2*1GB C HDD: ? 1* SSD 80G , ? 2* 2.5 SATA 500GB (背面) 一个板卡集成两个服务器系统 (正面,24个可插拔硬盘) 低功耗服务器开源 ? 开源网站 http://www.greencompute.org/

35 议程

36

一、淘宝网的简介

二、淘宝软件基础设施

三、淘宝开源成果一览

四、淘宝开源策略

五、小结 淘宝开源的目的 ? 为什么淘宝要将成果分享给业界 C回馈社会,我们用了很多开源软件,也为开源作一些 贡献.来而不往非礼也. ? 跟业界一起进行技术创新,一起改善软件 ? 建立淘宝的技术影响力,汇聚更多的人才,迎接更大 的技术挑战

37 淘宝的开源历史 ? 2009年,章文嵩博士加入淘宝,带来开源的种子 C章文嵩博士是著名开源软件LVS的作者,开源经验丰富 C开源的种子在淘宝开放的文化土壤上开始发芽和成长 ? 2010年,淘蝌蚪平台建立 ? 2010年6月份,Tair第一个开源 ? 接着,TFS等更多软件陆续开源 ? 2011年,成立淘宝开源委员会 C完善了开源的政策和流程