Kafka:谁负责维护消费者群体读取偏移量消息的上限？

Question

我知道Kafka Queue Partition中的所有消息(或偏移量)都有它的偏移量，它负责偏移量的顺序。但是，如果我有一个Kafka Consumer Group (或单个Kafka Consumer)，它正在读取特别是Kafka主题分区，那么它如何维护读取的偏移量消息，以及谁维护这个偏移量计数器？如果消费者宕机，那么新的消费者将如何开始读取下一个未读(或未确认)偏移量。

Answer 1

消费者分组信息全部存储在Kafka内部的topic __consumer_offsets中。每当新组尝试从主题读取数据时，它都会检查其在该内部主题中的偏移量位置，该内部主题的删除策略设置为compact。压缩使这个主题变得很小。

Kafka附带了一个命令行工具kafka-consumer-groups.sh，可以帮助您了解为每个消费者组存储了哪些信息。

有关偏移跟踪的详细信息，请参阅Kafka Documentation。