如果整个集群宕机，Kafka中的消费群体会发生什么？

Question

我们有一个消费者服务，它总是试图使用消费者组从主题中读取数据。由于重新部署，我们的Kafka集群会定期关闭并重新创建。

每当集群再次返回时，我们观察到尽管之前的主题被选取(可能来自zookeeper)，但之前的消费者组并没有被创建。正因为如此，我们使用以前的消费者组创建的正在运行的消费者进程被卡住了，永远不会出现。

这是消费者群体的行为应该是什么样子，还是我们需要在某个地方启用某个配置？

任何帮助都是非常感谢的。

Answer 1

Kafka Broker保留了健康消费者和消费者群体的缓存，如果整个集群被销毁/重新创建，它将不再了解这些消费者和群体，包括偏移量。消费者将不得不重新连接并重新建立组和从主题开始的偏移量。

从操作上讲，保持Kafka集群长期运行更有意义，并在rolling fashion中执行version upgrades，这样就不会中断服务。