PDF《日志服务》

日志服务 产品简介 q q q q q q q q q q q 产品简介 日志服务(Log Service,简称 Log)是针对日志类数据的一站式服务,在阿里巴巴集团经历大量大数据场景锤 炼而成.

您无需开发就能快捷完成日志数据采集、消费、投递以及查询分析等功能,帮助提升运维、运营效率 ,建立 DT 时代海量日志处理能力. 日志实时采集(LogHub) 实时采集与消费.通过 30+ 方式实时采集海量数据、下游实时消费. 使用 Logtail 采集日志:稳定可靠、安全、全平台(Linux、Windows、Docker)、高性能 &

低资源占用 通过 API/SDK 采集日志:灵活方便,可扩展,支持 10+ 种语言、移动端 云产品日志采集:支持云服务器 (Elastic Compute Service, ECS)、容器服务 (Container Service)、消息服务(Message Service,MNS)、内容分发系统 (Content Delivery Network,CDN)等云产品的日志接入.一键打通,便捷高效 其他方式采集日志:Syslog、Unity3D、Logstash、Log4j、Nginx等 日志实时消费(LogHub) 流计算、协同消费库、多语言支持. 功能完善:覆盖 Kafka 100% 功能,并提供保序、弹性伸缩、根据时间段 Seek 等功能 稳定可靠:写入即可消费;

99.9% 以上可用性;

数据多份拷贝;

秒内弹性伸缩;

低成本 使用便捷:支持 Spark Streaming,Storm,Consumer Library(一种自动负载均衡的编 程模式),SDK 订阅等 日志投递(LogShipper) 稳定可靠的日志投递.将日志中枢数据投递至存储类服务进行存储与大数据分析. 对象存储 (Object Storage Service,OSS):将日志投递到 OSS,利用 E-MapReduce 进行分析 大数据计算(MaxCompute):将日志投递到 MaxCompute 进行分析(即将上线) 日志查询(LogSearch) 实时索引、查询数据.对日志中枢创建索引,提供基于时间、关键词进行检索. 大规模:PB 级实时索引(写入

1 秒内即可查);

查询每秒过十亿级日志 低成本:0.5 元/GB 索引成本;

低成本海量存储;

支持配置生命周期 日志服务 产品简介

1 q - q - q q 查询灵活:支持关键词查询、模糊查询、跨Topic 查询及上下文查询 产品架构 日志服务的系统架构如下图所示: logtail 帮助您快速收集日志的 Agent.其特点如下所示: 基于日志文件、无侵入式的收集日志 只读取文件 安全、可靠 支持文件轮转不丢失数据 支持本地缓存 日志服务 产品简介

2 q - q - q - - q - q q - q q - q q q - q q q 网络异常重试 方便管理 web端可视化配置 完善的自我保护 实时监控进程 CPU、内存消耗,限制使用上限 前端服务器 采用 LVS + Nginx 构建的前端机器.其特点如下所示: HTTP、REST 协议 水平扩展 流量上涨时可快速通过增加前端机来提高处理能力 高吞吐、低延时 纯异步处理,单个请求异常不会影响其他请求 内部采用专门针对日志的 Lz4 压缩,提高单机处理能力,降低网络带宽 后端服务器 后端是分布式的进程,部署在多个机器上,完成实时对 logstore 数据的持久化,索引,查询,以及投递至 MaxCompute(即将上线).整体后端服务的特点如下所示: 数据高安全性 : 您写入的每条日志,都会被保存

3 份 任意磁盘损坏、机器硬件或软件系统错误的情况下,数据自动复制修复 稳定服务: 进程崩溃和机器长时间无响应时,Logstore会自动迁移 自动负载均衡,确保无单机热点 严格的 Quota 限制,防止单个用户行为异常对其他用户产生影响 水平扩展: 以分区(shard)为单位进行水平扩展,用户可以按需动态增加分区来增加吞吐量 产品优势 便捷: 完整的 API 和功能完善的管理控制台,5 分钟即完成接入 30+ 接入方式,与云产品 (OSS/E-MapReduce/MaxCompute/Table Store/MNS/CDN/ARMS等)、开源软件(Storm、Spark)无缝对接 稳定可靠: 日志服务 产品简介