卡夫卡的平行生产与消费

Question

1.在相同主题和相同分区上并发消费

假设我对一个给定的主题有100个分区(例如Purchases)，我可以很容易地使用这100个分区(例如Electronics、Clothing等.)并行使用一个包含100个消费者的消费者组。

但是，这意味着为Purchases上的总数据的每个子集分配一个使用者。如果我只想同时使用100个消费者的一个子集的数据，该怎么办？例如，对于我的所有消费者来说，他们只是想知道Purchases主题的Purchases分区。

有没有方法可以同时使用这个分区？

通常，我只希望我的所有消费者都能同时接收，相同的数据集，并发。

从我收集到的信息来看，消费者似乎不能从复制品中消费：从复制品中消费

我可以为多个主题生成相同的数据，比如Purchase-1[Electronics]和Purchase-2[Electronics]，这样我就可以并发地使用它们了吗？这是一种推荐的方法吗？

2.在相同主题和相同分区上并发生成

当多个生产者产生相同的主题和相同的分区时，因为我们只能写到分区领导者，而副本只是为了容错而存在，这是否意味着没有任何并发性？(也就是说，每次提交都必须排队等待)。

Answer 1

1. 如果这100个消费者属于不同的消费群体，他们可以同时使用同一主题和分区。在这种情况下，您需要确保每个使用者都能够处理来自100个分区的负载。
2. 生产者可以同时生成到同一个主题分区，但是写入分区的消息的实际顺序由分区领导者决定。

Answer 2

如果您希望并行地使用单个分区，请使用类似于平行消费者 (PC)的内容。

通过使用PC，您可以并行处理您的所有密钥，不管需要多长时间，您可以随心所欲地并发。

PC机直接解决了这一问题，通过按键对输入分区进行子划分，并并行处理每个键。它还跟踪每个记录的确认。查看GitHub上的并行用户 (它是开放源代码的BTW，我是作者)。