基础

Topics : 属于 特定类别的消息流

• 数据 存储 在 主题 中
• 主题被 拆分 成 分区 ：
  • 每个这样的分区包含 不可变 有序序列 的消息
  • 分区被实现为具有 相等大小 的一组 分段文件

Partition : 主题可能有许多分区，因此它可以处理任意数量的数据

Partition offset : 每个分区中的消息具有称为 offset 的 唯一序列标识

Replicas of partition : 副本只是一个 分区的备份

     副本从不读取或写入数据，它们用于防止数据丢失

Broker : 负责 维护 发布数据 的 简单系统

• 每个代理 中的 每个主题 可以具有 零个或多个 分区

     假设在一个主题和N个代理中有N个分区，每个代理将有一个分区

     假设在一个主题中有N个分区并且多于N个代理(n + m)，则第一个N代理将具有一个分区，并且下一个M代理将不具有用于该特定主题的任何分区

     假设在一个主题中有N个分区并且小于N个代理(n-m)，每个代理将在它们之间具有一个或多个分区共享。 由于代理之间的负载分布不相等，不推荐使用此方案

Kafka Cluster : Kafka有 多个代理 被称为 Kafka集群

• 可以扩展Kafka集群，无需停机
• 这些集群用于管理 消息数据的持久性和复制

Producer : 给 一个或多个 Kafka 主题 发送 消息 的发布者

• 生产者向 代理人 发送数据
• 每当生产者将消息发布给代理时， 代理 只需将 消息 附加到最后一个段文件
  • 实际上，该消息将被 附加到分区
• 生产者还可以向他们 选择的分区 发送消息

Consumer : 从 代理 处 读取 数据

• 消费者 订阅 一个或多个 主题
• 通过从代理中提取数据来使用已发布的消息

Leader : 负责 给定分区 的所有 读取和写入 的 节点

     每个分区都有一个服务器充当Leader

Follower : 跟随 领导者指令 的 节点

• 跟随者作为 正常消费者 ， 拉取消息 并 更新 其自己的 数据存储

     如果领导者不可用，一个追随者将自动成为新的领导者