卡夫卡消费者名单

Question

我需要找到一种向卡夫卡索要一份主题清单的方法。我知道我可以使用包含在kafka-topics.sh目录中的bin\脚本来完成这个任务。一旦我有了这个列表，我需要每个主题的所有消费者。我无法在该目录中找到脚本，也无法在kafka-consumer-api库中找到允许我这样做的类。

这背后的原因是我需要找出主题的偏移量和消费者的偏移量之间的区别。

有办法做到这一点吗？还是我需要在我的每个消费者中实现这个功能？

Answer 1

使用kafka-consumer groups.sh. Use

例如

bin/kafka-consumer-groups.sh  --list --bootstrap-server localhost:9092

bin/kafka-consumer-groups.sh --describe --group mygroup --bootstrap-server localhost:9092

Answer 2

您可以将其用于0.9.0.0。卡夫卡

./kafka-consumer-groups.sh --list --zookeeper hostname:potnumber

查看您创建的组。这将显示所有使用者组名称。

 ./kafka-consumer-groups.sh --describe --zookeeper hostname:potnumber  --describe  --group consumer_group_name

查看详细信息

GROUP, TOPIC, PARTITION, CURRENT OFFSET, LOG END OFFSET, LAG, OWNER

Answer 3

我意识到这个问题已经将近4年了。自那以后，卡夫卡发生了很大变化。这是上面提到的，但只是用小字，所以我写这个问题的用户谁在这个问题上的绊脚石，因为我做了。

1. 默认情况下，偏移现在存储在卡夫卡主题中(不再在动物园管理员中)，请参见补偿储存在动物园管理员还是卡夫卡？
2. 有一个kafka-使用者组实用程序，它返回使用者的所有信息，包括主题和分区的偏移量，甚至延迟(备注:当您要求主题的偏移量时，我假设您是指主题分区的偏移量)。在我的Kafka 2.0测试集群中：

kafka-consumer-groups --bootstrap-server kafka:9092 --describe
    --group console-consumer-69763 Consumer group 'console-consumer-69763' has no active members.

TOPIC           PARTITION  CURRENT-OFFSET  LOG-END-OFFSET  LAG             CONSUMER-ID     HOST            CLIENT-ID
pytest          0          5               6               1               -               -               -
``