PDF《Apache kafka入门篇：工作原理简介》

Apache kafka入门篇:工作原理简介 消息队列 消息队列技术是分布式应用间交换信息的一种技术.

消息队列可驻留在内存或磁盘上, 队列 存储消息直到它们被应用程序读走.通过消息队列,应用程序可独立地执行--它们不需要知道彼 此的位置、或在继续执行前不需要等待接收程序接收此消息.在分布式计算环境中,为了集成分 布式应用,开发者需要对异构网络环境下的分布式应用提供有效的通信手段.为了管理需要共享 的信息,对应用提供公共的信息交换机制是重要的.常用的消息队列技术是 Message Queue. Message Queue 的通讯模式

1、点对点通讯:点对点方式是最为传统和常见的通讯方式,它支持一对

一、一对多、多对 多、多对一等多种配置方式,支持树状、网状等多种拓扑结构.

2、多点广播:MQ 适用于不同类型的应用.其中重要的,也是正在发展中的是 多点广播 应用,即能够将消息发送到多个目标站点 (Destination List).可以使用一条 MQ 指令将单一消息发送到多个目标站点,并确保为每一站点可靠地提供信息.MQ 不仅提供了多点 广播的功能,而且还拥有智能消息分发功能,在将一条消息发送到同一系统上的多个用户时,M Q 将消息的一个复制版本和该系统上接收者的名单发送到目标 MQ 系统.目标 MQ 系统在本地复制这些消息,并将它们发送到名单上的队列,从而尽可能减少网络的传输量.

3、发布/订阅 (Publish/Subscribe) 模式:发布/订阅功能使消息的分发可以突破目的队列地 理指向的限制,使消息按照特定的主题甚至内容进行分发,用户或应用程序可以根据主题或内容 接收到所需要的消息.发布/订阅功能使得发送者和接收者之间的耦合关系变得更为松散,发送者 不必关心接收者的目的地址,而接收者也不必关心消息的发送地址,而只是根据消息的主题进行 消息的收发.

4、群集 (Cluster):为了简化点对点通讯模式中的系统配置,MQ 提供 Cluster(群集) 的解决方案.群集类似于一个域 (Domain),群集内部的队列管理器之间通讯时,不需要两两之间建立消息通道,而是采用群集 (Cluster) 通道与其它成员通讯,从而大大简化了系统配置.此外,群集中的队列管理器之间能够 自动进行负载均衡,当某一队列管理器出现故障时,其它队列管理器可以接管它的工作,从而大 大提高系统的高可靠性. Apache Kafka 原理 Kafka 是一个消息系统,原本开发自 LinkedIn,用作 LinkedIn 的活动流(Activity Stream) 和运营数据处理管道(Pipeline)的基础.现在它已被多家公司作为多种类型的数据管道和消息 系统使用.活动流数据是几乎所有站点在对其网站使用情况做报表时都要用到的数据中最常规的 部分.活动数据包括页面访问量(Page View)、被查看内容方面的信息以及搜索情况等内容. 这种数据通常的处理方式是先把各种活动以日志的形式写入某种文件,然后周期性地对这些文件 进行统计分析.运营数据指的是服务器的性能数据(CPU、IO

1 /

5 使用率、请求时间、服务日志等等数据),总的来说,运营数据的统计方法种类繁多. Kafka 专用术语 Broker:Kafka 集群包含一个或多个服务器,这种服务器被称为 broker. Topic:每条发布到 Kafka 集群的消息都有一个类别,这个类别被称为 Topic.(物理上不同 Topic 的消息分开存储,逻辑上一个 Topic 的消息虽然保存于一个或多个 broker 上,但用户只需指定消息的 Topic 即可生产或消费数据而不必关心数据存于何处). Partition:Partition 是物理上的概念,每个 Topic 包含一个或多个 Partition. Producer:负责发布消息到 Kafka broker. Consumer:消息消费者,向Kafka broker 读取消息的客户端. Consumer Group:每个 Consumer 属于一个特定的 Consumer Group(可为每个 Consumer 指定 group name,若不指定 group name 则属于默认的 group). Kafka 交互流程 Kafka 是一个基于分布式的消息发布- 订阅系统,它被设计成快速、可扩展的、持久的.与其他消息发布-订阅系统类似,Kafka 在主题当中保存消息的信息.生产者向主题写入数据,消费者从主题读取数据.由于 Kafka 的特 性是支持分布式,同时也是基于分布式的,所以主题也是可以在多个节点上被分区和覆盖的. 信息是一个字节数组,程序员可以在这些字节数组中存储任何对象,支持的数据格式包括 String、JSON、Avro.Kafka 通过给每一个消息绑定一个键值的方式来保证生产者可以把所有的 消息发送到指定位置.属于某一个消费者群组的消费者订阅了一个主题,通过该订阅消费者可以 跨节点地接收所有与该主题相关的消息,每一个消息只会发送给群组中的一个消费者,所有拥有 相同键值的消息都会被确保发给这一个消费者. Kafka 设计中将每一个主题分区当作一个具有顺序排列的日志.同处于一个分区中的消息都 被设置了一个唯一的偏移量.Kafka 只会保持跟踪未读消息,一旦消息被置为已读状态,Kafka 就不会再去管理它了.Kafka 的生产者负责在消息队列中对生产出来的消息保证一定时间的占有,消费者负责追踪每一个主题 (可以理解为一个日志通道) 的消息并及时获取它们.基于这样的设计,Kafka 可以在消息队列中保存大量的开销很小的数据,并且支持大量的消费者订阅. 利用 Apache Kafka 系统架构的设计思路 示例:网络游戏 假设我们正在开发一个在线网络游戏平台,这个平台需要支持大量的在线用户实时操作,玩 家在一个虚拟的世界里通过互相协作的方式一起完成每一个任务.由于游戏当中允许玩家互相交 易金币、道具,我们必须确保玩家之间的诚信关系,而为了确保玩家之间的诚信及账户安全,我 们需要对玩家的 IP 地址进行追踪,当出现一个长期固定 IP 地址忽然之间出现异动情况,我们要 能够预警,同时,如果出现玩家所持有的金币、道具出现重大变更的情况,也要能够及时预警. 此外,为了让开发组的数据工程师能够测试新的算法,我们要允许这些玩家数据进入到 Hadoop 集群,即加载这些数据到 Hadoop 集群里面.