PDF《TDengine 白皮书》

TDengine 白皮书 版权申明 本文档北京涛思数据科技有限公司版权所有,任何形式或任何媒体的复制和拷 贝都必须得到北京涛思数据科技有限公司的书面同意.

TDengine 白皮书 第2页?北京涛思数据科技有限公司版权所有

1 ?数据时代的挑战 随着移动互联网的普及,数据通讯成本的急剧下降,以及各种低成本的传感技术和智 能设备的出现,除传统的手机、计算机在实时采集数据之外,从手环、共享自行车、 出租车、智能电表、环境监测设备到电梯、大型设备、工业生产线等都在源源不断的 产生海量的实时数据发往云端.这些海量数据是企业宝贵的财富,能够帮助企业实时 监控业务或设备的运行情况,生成各种维度的报表,而且通过大数据分析和机器学 习,对业务进行预测和预警,帮助企业进行科学决策、节约成本并创造新的价值. 仔细研究发现,所有机器、设备、传感器、以及交易系统所产生的数据都是时序的, 而且很多还带有有位置信息.这些数据具有明显的特征,1: 数据是时序的,一定带有 时间戳;

2:数据是结构化的;

3: 数据很少更新删除;

4:写多读少;

5:用户关注的 是一段时间的趋势,而不是某一特点时间点的值;

6: 数据是有保留期限的;

7:数据 的查询分析一定是基于时间段和地理区域的;

8:除存储查询外,还往往需要各种统计 和实时计算操作;

9:数据量巨大,一天采集的数据就可以超过

100 亿条. 看似简单的事情,但由于数据记录条数巨大,导致数据的实时写入成为瓶颈,查询分 析极为缓慢,成为新的技术挑战.传统的关系型数据库或 NoSQL 数据库以及流式计 算引擎由于没有充分利用这些数据的特点,性能提升极为有限,只能依靠集群技术, 投入更多的计算资源和存储资源来处理,企业运营维护成本急剧上升.

2 TDengine 特点 TDengine 正是涛思数据面对这一高速增长的时序数据市场和技术挑战推出的创新性 的大数据处理产品,它不依赖任何第三方软件,也不是优化或包装了一个开源的数据 库或流式计算产品,而是在吸取众多传统关系型数据库、NoSQL 数据库、流式计算 引擎、消息队列等软件的优点之后自主开发的产品,在时序空间数据处理上,有着自 己独到的优势. ? TDengine 定义了创新的时序数据存储结构,通过采用无锁设计和多核技术, 让数据插入和查询的速度比现有专业的时序数据库提高了十倍以上;

? TDengine 可将多个时序数据流进行实时聚合计算, 提供强大的流式计算功能. TDengine 白皮书 第3页?北京涛思数据科技有限公司版权所有 ? 将大数据处理所需要的数据库、消息队列、缓存、流式计算等功能融合一起, 应用无需再集成这些功能的软件,大幅降低应用开发难度;

? 基于分布式集群的设计,TDengine 不仅保证了系统处理能力的水平扩展,而 且让数据库不再依赖昂贵的硬件和存储设备,不存在任何单点瓶颈和故障;

? 通过实时数据与标签分离,列式存储和先进的压缩算法,TDengine 存储空间 不到通用数据库的 10%;

? 追求极致的用户体验,让运营维护智能化,扩容、升级、数据同步、恢复、迁 移等都轻松搞定. 采用 TDengine,可将典型的物联网、车联网、工业互联网大数据平台的整体成本降 至现有的 1/5.同样的硬件资源,TDengine 能将系统处理能力和容量增加五倍以上. 为缩短学习曲线,TDengine 采用的是传统数据库的数据模型和 SQL 语法,支持 ODBC 和JDBC,而且 Driver 提供的 API 与MySQL 完全一样.为支持各种大数据 分析软件,并与其他数据库互联,TDengine 提供 Hadoop 和Spark 连接器, TDengine 成为他们的数据源.