kafka-python中的多处理

Question

我一直在使用python模块来使用kafka代理。我想使用相同的主题并行地使用'x‘数量的分区。这些文件的内容如下：

# Use multiple consumers in parallel w/ 0.9 kafka brokers
# typically you would run each on a different server / process / CPU
 consumer1 = KafkaConsumer('my-topic',
                      group_id='my-group',
                      bootstrap_servers='my.server.com')
  consumer2 = KafkaConsumer('my-topic',
                      group_id='my-group',
                      bootstrap_servers='my.server.com')

这是否意味着我可以为我生成的每个进程创建一个单独的使用者？此外，consumer1和consumer2使用的消息是否会有重叠？

谢谢

Answer 1

是的，您可以在多个线程/进程中创建多个使用者(甚至可以在不同的机器上并行运行它们)。只要所有消费者使用相同的group.id，就不会有重叠。Kafka将每个主题分区分配给消费者组中的单个消费者。请注意，使用比可用主题分区更多的使用者将导致空闲使用者。