PDF《日志服务》

3 q q q q q q - - 弹性:满足从 MB~100TB/天需求 可用性:>

99.9% 可用性,客户端支持自动断点续传等 安全性:访问控制、HTTPS、加密等完整安全机制 低成本: 按量计费,成本低于自建 60% 以上

0 运维/0 部署/0 开发,升级和扩容不影响业务 客户端性能是同类软件的

10 倍,资源消耗为 10% 日志服务的典型应用场景包括:数据采集、实时计算、数仓与离线分析、产品运营与分析、运维与管理等场合 . 数据采集与消费(Data Collection &

Consumption) 数据清洗与流计算(ETL/Stream Processing) 日志服务 产品简介

4 - - - 数据仓库对接(Data Warehouse) 事件溯源(Event Sourcing/Tracing ) 日志管理(LogManagement) 日志服务 产品简介

5 基本概念 简介 日志 日志(Log)是系统在运行过程中变化的一种抽象,其内容为指定对象的某些操作和其操作结果按时间的有序 集合.文件日志(LogFile)、事件(Event)、数据库日志(BinLog)、度量(Metric)数据都是日志的不同 载体.在文件日志中,每个日志文件由一条或多条日志组成,每条日志描述了一次单独的系统事件,是日志服 务中处理的最小数据单元. 日志组 日志组即一组日志的集合,是写入与读取的基本单位. 日志主题 一个日志库内的日志可以通过日志主题(Topic)来划分.用户可以在写入时指定日志主题,并在查询时指定查 询的日志主题. 日志服务 产品简介

6 项目 项目(Project)是日志服务中的资源管理单元,用于资源隔离和控制.您可以通过项目来管理某一个应用的所 有日志及相关的日志源.它管理着用户的所有日志库(Logstore),采集日志的机器配置等信息,同时它也是 用户访问日志服务资源的入口. 日志库 日志库(Logstore)是日志服务中日志数据的采集、存储和查询单元.每个日志库隶属于一个项目,且每个项 目可以创建多个日志库. 分区 每个日志库分若干个分区(Shard),每个分区由 MD5 左闭右开区间组成,每个区间范围不会相互覆盖,并且 所有的区间的范围是 MD5 整个取值范围. 日志 半世纪前说起日志,想到的是船长、操作员手里厚厚的笔记.如今计算机诞生使得日志产生与消费无处不在 :服务器、路由器、传感器、GPS、订单、及各种IoT设备通过不同角度描述着我们生活的世界.借助于计算力 量,通过采集、处理、使用日志,我们不断更新对整个世界以及体系的认知. 日志是什么? 从船长日志中我们可以发现,日志除了带一个记录的时间戳外,可以包含几乎任意的内容,例如:一段记录文 字、一张图片、天气状况、船行方向等.几个世纪过去了, 船长日志 的方式已经扩展到一笔订单、一项付 款记录、一次用户访问、一次数据库操作等多样的领域. 日志这种广泛使用模式之所以经久不衰,在于 日志是一种简单的不能再简单的存储抽象 .它是一个只能增 加的,完全按照时间排序的一系列记录.日志(时间序列数据)看起来如下: 日志服务 产品简介

7 我们可以给日志末尾添加记录,并且可以从左到右读取日志记录.每一条记录都指定了一个唯一的有一定顺序 的日志记录编号. 日志顺序由 时间 来确定,从图上可以看到日志从右到左的时间顺序,新产生的事件被记录,过去的事件渐 渐远去,但它记录了什么时间发生了什么事情,这无论对于计算机、人类、还是整个世界而言,是认知与推理 的基础. 日志服务中的日志(Log) 日志(Log)是系统在运行过程中变化的一种抽象,其内容为指定对象的某些操作和其操作结果按时间的有序 集合.文件日志(LogFile)、事件(Event)、数据库日志(BinLog)、度量(Metric)数据都是日志的不同 载体.在文件日志中,每个日志文件由一条或多条日志组成,每条日志描述了一次单独的系统事件,是日志服 务中处理的最小数据单元. 日志服务采用半结构数据模式定义一条日志.该模式中包含主题(Topic)、时间(Time)、内容 (Content)和来源(Source)四个数据域. 与此同时,日志服务对日志各字段的格式有不同要求,具体如下表所示: 数据域 含义 格式 主题(Topic) 用户自定义字段,用以标记一批 日志.例如访问日志可根据不同 站点进行标记. 包括空字符串在内的任意字符串 ,长度不超过128字节.默认情 况下,该字段为空字符串. 时间(Time) 日志中的保留字段,用以表示日 志产生的时间,一般由日志中的 时间信息直接提取生成. 整型,Unix标准时间格式.单 位为秒,表示从1970-1-1 00:00:00UTC计算起的秒数. 内容(Content) 用以记录日志的具体内容.内容 部分由一个或多个内容项组成 ,每一个内容项为一个Key- Value对. Key为UTF-8编码字符串,包含 字母、下划线和数字,且不以数 字开头.长度不超过128字节. 不可以使用如下关键字 :__time__、__source__、 __topic__、 __partition_time__、 _extract_others_、 __extract_others__.Value 为 任意字符串,长度不超过 1024*1024字节. 日志服务 产品简介