发布订阅模式下Kafka消息处理规模如何？

Question

所有的人，请原谅我，我是一个新手刚刚开始的Kafka。目前，我正在阅读Kafka关于Kafka的文档。

如文件所述。

对于传统的信息系统。它们不能缩放消息处理。因为

发布-订阅允许将数据广播到多个进程，但由于每条消息都发送到每个订阅服务器，因此无法扩展处理。

我觉得这对我来说很有意义。

但是对于Kafka来说。文档说，即使在发布-订阅模式下，Kafka也可以扩展消息处理。(如果我错了，请纠正我。谢谢。)

卡夫卡的消费群体概念概括了这两个概念。与队列一样，使用者组允许您将处理划分为进程的集合(使用者组的成员)。与发布订阅一样，Kafka允许您向多个消费群体广播消息。 卡夫卡模型的优点在于，每个主题都有这两种属性--，它可以缩放处理，而且也是多用户的-there，不需要选择其中的一个。

所以我的问题是Kafka是怎么做到的？我的意思是在发布-订阅模式下扩展处理。谢谢。

Answer 1

Kafka中支持可伸缩的发布/订阅的主要独特特性是：

1. 对单个主题进行分区，并将活动分区分散到集群中的多个代理中，以利用更多的机器、磁盘和缓存内存。生产者和使用者通常连接到集群中的许多或所有节点，而不仅仅是给定主题/队列的单个主节点。
2. 将所有消息存储在顺序提交日志中，而在使用时不删除它们。这将导致更多的顺序读和写，使代理不必处理保持不同消息副本的跟踪、删除单个消息、处理碎片、跟踪哪些使用者已承认消费了哪些消息。
3. 启用对单个使用者和使用者组的智能并行处理，使每个并行消息流可以来自#1中提到的分布式分区，同时将偏移量管理和分区分配逻辑卸载到客户端本身。Kafka与更多的消费者进行扩展，因为消费者做了一些工作(不像大多数其他的酒吧/分销商，大部分工作都是由经纪人完成的)