卡夫卡10.2新消费者与旧消费者

Question

我花了几个小时搞清楚到底是怎么回事，但没能找到解决办法。

这是我在一台机器上的装置：

• 1名动物园管理员
• 3个代理运行(在端口9092/9093/9094)
• 有3个分区和3个副本的主题(每个分区在代理之间正确分配)

我正在使用kafka控制台生产者插入消息。如果我检查复制偏移量(cat replication-offset-checkpoint)，我就会发现我的消息被卡夫卡正确地摄入了。

现在我使用kafka控制台使用者(新的)：

sudo bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --from-beginning --topic testTopicPartitionned2

我没有看到任何东西被消耗掉。我尝试删除我的日志文件夹(/tmp/kafka-logs-1,2,3)，创建新的主题，仍然什么也没有。

然而，当我使用旧卡夫卡消费者时：

sudo bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic testTopicPartitionned2

我能看到我的留言。

我是不是错过了一些重要的东西来让这个新的消费者发挥作用？

提前谢谢。

Answer 1

检查一下使用者对auto.offset.reset属性使用的设置

这将影响没有先前提交的偏移量的使用者组在设置从分区开始读取消息的位置方面所做的工作。

有关这方面的更多信息，请看一下卡夫卡的文档。

Answer 2

尝试将所有代理提供给--bootstrap-server参数，以查看是否注意到有任何不同之处：

sudo bin/kafka-console-consumer.sh --bootstrap-server localhost:9092,localhost:9093,localhost:9094 --from-beginning --topic testTopicPartitionned2

而且，您的主题名称相当长。我想您已经确定您提供了正确的主题名称。