PDF《DataHub》

4 - - 数据类型介绍 Tuple类型下只支持写入数据是有格式的数据,支持以下几种数据类型 Blob模式下支持写入一块二进制数据作为一个Record,数据将会以BASE64编码传输. Shard状态说明 异常描述 Topic仅支持写入一块二进制数据. 类型 含义 值域 Bigint 8字节有符号整型.请不要使用 整型的最小值 (- 9223372036854775808),这 是系统保留值. -9223372036854775807 ~

9223372036854775807 String 字符串,只支持UTF-8编码. 单个String列最长允许1MB. Boolean 布尔型. 可以表示为 True/False,true/false, 0/1 Double 8字节双精度浮点数. -1.0

10308 ~ 1.0

10308 TimeStamp 时间戳类型 表示到微秒的时间戳类型 状态 说明 Opening Topic刚创建,所有shard会处于Opening状态直 至准备完成.不可读写. Active Shard通道打开后,状态会置为Active,此时表示 Shard正常可读写. Closing Shard进行了Split/Merge操作,后台正在关闭该 通道.该状态Shard不可读写. Closed Shard在Split/Merge完成后,会变为Closed态 ,此时Shard为只读状态. ErrorCode HttpCode 含义 InvalidUriSpec

400 请求的Uri非法 InvalidParameter

400 参数错误,详细内容请看返回的 ErrorMessga Unauthorized

401 签名错误 NoPermission

403 账号权限不足 DataHub 产品简介

5 限制描述 限制描述 InvalidSchema

400 Schema格式错误 InvalidCursor

400 无效或过期的cursor NoSuchProject

404 请求的Project不存在 NoSuchTopic

404 请求的Topic不存在 NoSuchShard

404 请求的ShardID不存在 ProjectAlreadyExist

400 Project已存在 TopicAlreadyExist

400 Topic已存在 InvalidShardOperation

405 非法Shard操作,如Shard已经 Closed后继续写入. LimitExceeded

400 请求参数超出限制,如Shard总 数超过512个. InternalServerError

500 未知错误或内部服务异常或系统 处于升级中. 限制项 描述 值域范围 活跃shard数 每个topic中活跃shard数量限制 (0,10] (公测限制,流量超出 10个Shard承载能力请联系管理 员提升Quota) 总shard数 每个topic中总shard数量限制 (0,512] Http BodySize http请求中body大小限制 4MB 单个String长度 数据中单个String字段长度限制 1MB Merge/Split频率限制 每个新产生的shard在一定时间 内不允许进行Merge/Split操作 5s QPS限制 每个Shard写入QPS限制(非Record/s,Batch写入同一 Shard仅计算为1次)

1000 Throughput限制 每个Shard写入每秒吞吐限制 1MB Project限制 每个云账号能够创建的 Project上限

5 Topic限制 每个Project内能创建的Topic数20 DataHub 产品简介

6 命名规范 访问控制 DataHub采用阿里云RAM进行访问控制.用户对DataHub资源的访问,通过RAM进行鉴权.阿里云主账号拥 有所属资源的所有权限,子用户在创建时并没有任何权限,不能访问任何资源,用户需要在RAM中对该子用户 进行授权操作.关于如何创建RAM子用户与创建授权策略并进行授权可参见RAM使用文档.以下将介绍 DataHub在RAM下的访问控制体系. DataHub访问域名 对DataHub资源的访问请求,需根据资源所属服务,选择正确的域名. DataHub域名列表 量限制,如有特殊请求请联系管 理员 Topic Lifecycle限制 每个Topic中数据保存的最大时 长,单位是天 [1,7] 名词 描述 长度限制 值Project 项目名称 [3,32] 英文字母开头,仅允许 英文字母、数字及 _ ,大小写不敏感 . Topic 主题名称 [1,128] 英文字母开头,仅允许 英文字母、数字及 _ ,大小写不敏感 . 地区 Region 外网Endpoint 经典网络ECS Endpoint VPC ECS Endpoint 华东1(杭州) cn-hangzhou https://dh-cn- hangzhou.aliyu ncs.com http://dh-cn- hangzhou.aliyu n-inc.com http://dh-cn- hangzhou.aliyu n-inc.com 华东2(上海) cn-shanghai https://dh-cn- shanghai.aliyun cs.com http://dh-........