PDF《分布式消息服务》

1 分布式消息服务概述 文档版本

01 (2019-05-05) 版权所有 ? 华为技术有限公司

3 2产品功能 分布式消息服务(Distributed Message Service)是完全托管的高性能消息队列服务,提 供普通队列、有序队列、Kafka队列,兼容HTTP、TCP协议,为分布式应用提供灵活可 靠的异步通信机制.使用DMS,您可以创建消息队列,将消息队列作为一个传输消息 的中转站,存储应用程序不同组件间传递的消息,从而做到在应用程序的不同组件之 间传输消息时,不要求各个组件同时处于可用状态. 队列类型和接入协议 兼容原生Kafka队列,业务0改动迁移. l 多队列类型 支持普通队列、FIFO保序队列、Kafka队列. l 多协议接入 支持HTTP Restful API、TCP SDK、KAFKA SDK接入. 队列能力 支持按需弹性扩容,队列共享和授权. l 自动弹性扩展 队列按需自动扩展,按实际使用量计费. l 死信队列 将其无法成功处理的消息存放于死信队列,便于统一分析和处理. l 队列共享和授权 支持租户间或租户内针对不同用户的队列共享和授权. 消息能力 一键在线扩容,不影响上层业务. l 消息过滤 根据消息标签对可消费的消息进行过滤. l 消息回溯 通过指定时间或位置,对已经消费过的消息进行重新消费. 分布式消息服务 产品介绍

2 产品功能 文档版本

01 (2019-05-05) 版权所有 ? 华为技术有限公司

4 l 定时/延时消息 在消息生产时间(当前时间)之后的指定时间点投递给消费组消费. l 广播消息 在同一个消费组内对所有消费者投递相同消息 l 消息重投 消费者可以决定将暂不消费的消息重新投递到队列中,延后再消费 高可靠 数据可靠性99.999999999%,服务可用性99.95%. l 数据可靠性 同步落盘与多副本冗余,数据可靠性高达 99.99999999%. l 服务可用性 集群化部署与跨AZ部署,确保服务可用性高达 99.95%. 高性能 亿级消息堆积,可弹性扩展队列数,支持千万级并发. l 海量堆积 支持亿级消息堆积,在海量堆积下不影响队列性能. l 高并发 单队列并发最高可超过10万TPS(每秒处理的消息数),扩展队列数可获得更高并 发. l 低时延 消息投递时间可至毫秒级,保证消息及时性. 安全防护 业务操作可回溯,消息存储加密等有效安全措施. l 可追溯 提供云审计进行租户管理操作的记录和审计. l 消息加密 数据加密存储,防止消息被窃取. 分布式消息服务 产品介绍

2 产品功能 文档版本

01 (2019-05-05) 版权所有 ? 华为技术有限公司

5 3应用场景 分布式消息服务可应用在多个领域,包括异步通信解耦、企业解决方案、金融支付、 电信、电子商务、快递物流、广告营销、社交、即时通信、手游、视频、物联网、车 联网等. 分布式消息服务可以应用但不局限于以下业务场景: l 业务解耦 将业务中依赖其他系统同时属于非核心或不重要的部分使用消息通知即可,无需 同步等待其他系统的处理结果. 如电商网站在促销期间抢购订单,抢到的商品订单信息放入消息队列,出库、发 货等后续会从队列里读取任务信息然后执行. l 最终一致性 在交易或支付系统中,不同的子系统/模块的状态需要最终保持一致,或都成功或 都失败.子系统/模块之间传递的数据不能丢失,需要有可靠消息传递,能保证业 务的连续性.DMS可以用于子系统/模块间的高可靠数据传递,实现两者之间的事 务最终一致,降低实现难度和成本. 例如用户使用储蓄余额购买理财产品.由于理财系统一般对理财申购交易采用日 终统一处理,允许用户的储蓄余额与理财系统资金余额存在一定时间段的不一 致,或者说中间状态,因此,可以对理财产品的购买支付流程使用DMS服务的消 息处理机制,保证储蓄余额与理财余额的最终一致,同时避免系统间对账不平. l 错峰流控 在电子商务系统或大型网站中,上下游系统处理能力存在差异,处理能力高的上 游系统的突发流量可能会对处理能力低的某些下游系统造成冲击,需要提高系统 的可用性的同时降低系统实现的复杂性.电商大促销等流量洪流突然来袭时,可 以通过队列服务堆积缓存订单等信息,在下游系统有能力处理消息的时候再处 理,避免下游订阅系统因突发流量崩溃.消息队列提供亿级消息堆积能力,3天的 保留时长,消息消费系统可以错峰进行消息处理. l 日志同步 应用通过可靠异步方式将日志消息同步到消息服务,再通过其他组件对日志做实 时或离线分析,也可用于关键日志信息收集进行应用监控. 使用DMS实现日志同步一般按以下流程: a. 日志采集客户端,负责用户应用服务的日志数据采集,以发送消息方式写入 DMS消息队列. b. DMS消息队列,负责日志数据的接收、存储和转发管理. 分布式消息服务 产品介绍