PDF《淘宝开源之路》

16 Hadoop ? HDFS, MapReduce, Hive, HBase等都维护自己 的版本,同时兼容社区版本,支持Hadoop生态 系统中Pig,Mahout等软件. ? Hadoop官方中文文档翻译 ? Hive C为社区贡献patch超过20个,功能包括mutli-distinct aggregation, JDBC接口和认证体系等 ? HBase C改进HBase稳定性,缩短HBase的宕机恢复时间,让HBase的在线服务能力大大提高. C向社区提交47个patch,占总数的3%

17 MySQL ? 维护阿里MySQL分支 ? http://mysql.taobao.org ? 2010开始规模使用,替换商品、交易、用户等原 基于IOE方案的核心数据库,目前已部署千台规模 ? 和Oracle, Percona, Mariadb等上游厂商有良 好合作,共向上游提交20多个patch

18 JVM ? 基于OpenJDK VM C性能提升 C针对淘宝需求的定制化改进 ? 2011年部署率14%,计划2012年三淘全面部署 ? 向Oracle JVM贡献16个通用性patch ? 向Oracle JVM团队输出了人才 :)

19 WebX ? 淘宝、阿里巴巴等都在用的Java框架 ? http://www.openwebx.org/ ? 特点 C基于Java Servlet API C扩展性良好 C在大流量网站上的稳定性得到了验证

20 Tengine ? 基于Nginx的Web服务器 ? http://tengine.taobao.org ? 特点 C输入过滤器机制支持 C组合多个CSS、JavaScript的访问请求变成一个请求 C可以对后端的服务器进行主动健康检查 C支持管道(pipe)和syslog形式的日志以及日志抽样 C监控系统的负载和资源占用从而对系统进行保护 C更强大的防攻击(访问速度限制)模块 C很多运维和易用性增强

21 QLExpress ? 一个轻量级的脚本引擎,作为一个嵌入式规则引 擎在业务系统中使用 ? http://code.taobao.org/p/QLExpress/wiki/in dex/ ? 特点: C支持标准的JAVA语法, C支持自定义操作符号、操作符号重载、函数定义、宏 定义、数据延迟加载等 C可以自定义语法. C类编译执行,执行效率比较高 C目前在淘宝的很多系统,已经外部公司的系统使用

22 TBSchedule ? TBSchedule的目的让一种批量任务或者不断变化的任务 ,能够被动态的分配到多个主机的JVM中,不同的线程组 中并行执行.所有的任务能够被不重复,不遗漏的快速处 理?http://code.taobao.org/p/tbschedule/wiki/index/ ? 特点 C任务可以动态创建和停止,并分布在多个机器上执行 C可以指定任务执行的时间周期 C有统一集中的控制台,进行各种参数的动态调整 C使用简单,只需要实现一个简单接口 C目前在淘宝的很多系统,已经外部公司的系统使用

23 Tsar ? 轻量级服务器及应用信息监控和数据收集软件 ? http://tsar.taobao.org ? 特点 C部署简单,稳定可靠,系统开销小 C模块化设计,方便添加自定义的采集模块 C支持实时终端显示和集中式数据库存储及查询 C支持与Nagios联动,发送报警信息

24 TProfiler ? 可以在生产环境长期使用的Java性能分析工具 ? http://github.com/taobao/tprofiler ? 特点 C同时支持剖析和采样两种方式 C记录方法执行的时间和次数,生成方法热点、对象创 建热点 线程状态分析等数据 C为查找系统性能瓶颈提供数据支持.

25 TimeTunnel ? TimeTunnel(简称TT)是一个基于thrift通讯框架 搭建的实时数据传输平台 ? http://timetunnel.taobao.org ? 特点: C具有高性能、实时性、顺序性、高可靠性、高可用性 、可扩展性

26 TaoKeeper ? ZooKeeper的监控与报名系统 ? http://code.taobao.org/p/taokeeper/src/ ? 特点 C能够统计ZK集群连接数,Watcher数目,节点数等系 列信息 C能够通过设置一些阈值来达到监控报警的效果 C能够按天按周进行ZK运行状况的报表展现 CZK实时运行状态的统计和机器存活性的检查功能