PDF《日志服务》

8 实际使用场景中,日志的格式多样.为了帮助理解,以下以一条nginx原始访问日志如何映射到日志服务日志数 据模型为例说明.假设用户nginx服务器的IP地址为10.249.201.117,以下为该服务器的一条原始日志: 把该条原始日志映射到日志服务日志数据模型,如下: 用户可以自己决定如何提取日志原始内容并组合成Key-Value对,例如下表: 日志组 一组日志的集合,写入与读取的基本单位. 日志组的限制为:最大

4096 条日志,或10MB 空间. 来源(Source) 日志的来源地,例如产生该日志 机器的IP地址. 任意字符串,长度不超过128字节. 默认情况下该字段为空. 10.1.168.193 - - [01/Mar/2012:16:12:07 +0800] GET /Send?AccessKeyId=8225105404 HTTP/1.1

200 5 - Mozilla/5.0 (X11;

Linux i686 on x86_64;

rv:10.0.2) Gecko/20100101 Firefox/10.0.2 数据域 内容 说明 Topic 沿用默认值,即空字符串. Time

1330589527 日志产生的精确时间,表示从 1970-1-1 00:00:00 UTC计算起 的秒数.从原始日志中的时间戳 转换而来. Content Key-Value对 日志具体内容. Source 10.249.201.117 使用服务器IP地址作为日志源. Key Value ip 10.1.168.193 method GET status

200 length

5 ref_url - browser Mozilla/5.0 (X11;

Linux i686 on x86_64;

rv:10.0.2) Gecko/20100101 Firefox/10.0.2 日志服务 产品简介

9 - - 一个日志库内的日志可以通过日志主题(Topic)来划分.用户可以在写入时指定日志主题,并在查询时指定查 询的日志主题.例如,一个平台用户可以使用用户编号作为日志主题写入日志.这样在查询时可利用日志主题 让不同用户仅看到自己的日志.如果不需要划分一个日志库内的日志,让所有日志使用相同的日志主题即可. 注意:空字符串是一个有效的日志主题(Topic),且无论是写入还是查询日志时,默认的日志主题都是 空字符串.所以,如果不需要使用日志主题,最简单的方式就是在写入和查询日志时都使用默认日志主题 ,即空字符串. 下图描述了日志库、日志主题和日志之间的关系: 项目 项目(Project)是日志服务中的资源管理单元,用于资源隔离和控制.您可以通过项目来管理某一个应用的所 有日志及相关的日志源.它管理着用户的所有日志库(Logstore),采集日志的机器配置等信息,同时它也是 用户访问日志服务资源的入口. 具体来说,项目可以提供如下功能: 帮助您组织、管理不同的日志库.在实际使用中,您可能需要使用日志服务集中采集、存储不同项目 、产品或者环境的日志.您可以把不同项目、产品或者环境的日志分类管理在不同的项目中,方便后 续的日志消费、导出或者索引.同时,项目还是日志访问权限管理的载体. 为您提供日志服务资源的访问入口.每创建一个项目,日志服务会为该项目分配一个独有的访问入口 .该访问入口支持通过网络写入、读取及管理日志. 日志服务 产品简介

10 - - - - - - - - - - - - - 您可以通过日志服务管理控制台进行以下项目操作: 创建项目 查看项目列表 管理项目 删除项目 日志库 日志库是日志服务中日志数据的采集、存储和查询单元.每个日志库隶属于一个项目,且每个项目可以创建多 个日志库.您可以根据实际需求为某一个项目生成多个日志库,其中常见的做法是为一个应用中的每类日志创 建一个独立的日志库.例如,用户有一个 big-game 游戏应用,服务器上有三种日志:操作日志 (operation_log)、应用程序日志(application_log)以及访问日志(access_log),用户可以首先创建名 为 big-game 的项目,然后在该项目下面为这三种日志创建三个日志库,分别用于它们的采集、存储和查询 . 无论是写入或者查询日志,您都需要指定操作的 Logstore.如果您希望投递日志数据到 MaxCompute 做离线 分析,其数据投递也是以 Logstore 为单元进行数据同步(即一个 Logstore 内的日志数据投递到一张 MaxCompute 的Table).(即将上线.) 具体来说,Logstore 提供如下功能: 采集日志,支持实时日志写入 存储日志,支持实时消费 建立索引,支持日志实时查询 提供投递到 MaxCompute 的数据通道 您可以通过日志服务管理控制台进行以下日志库操作: 创建日志库 查看日志库列表 修改日志库配置 删除日志库 Logstore读写日志必定保存在某一个分区(Shard)上.每个日志库(Logstore)分若干个分区,每个分区由 MD5左闭右开区间组成,每个区间范围不会相互覆盖,并且所有的区间的范围是MD5整个取值范围. 范围 创建Logstore时,指定分区个数,会自动平均划分整个MD5的范围.每个分区均有范围,可用MD5方式来表 示,且必定包含于以下范围中:[00000000000000000000000000000000,ffffffffffffffffffffffffffffffff). 分区的范围均为左闭右开区间,由以下Key组成: BeginKey:分区起始的Key值,分区范围中包含该Key值 日志服务 产品简介