Kafka Resiliency -小组协调员

Question

据我所知，其中一位经纪人被选为负责消费者再平衡的小组协调员。

Discovered coordinator host:9092 (id: 2147483646 rack: null) for group good_group

我有3个节点，复制因子为3和3个分区。一切都很好，当我在非协调节点上杀死kafka时，消费者仍然在接收消息。

但是当我用协调器杀死那个特定的节点时，再平衡就不会发生了，我的java使用者应用程序也不会收到任何消息。

2018-05-29 16:34:22.668 INFO  AbstractCoordinator:555 - Discovered coordinator host:9092 (id: 2147483646 rack: null) for group good_group.
2018-05-29 16:34:22.689 INFO  AbstractCoordinator:600 - Marking the coordinator host:9092 (id: 2147483646 rack: null) dead for group good_group
2018-05-29 16:34:22.801 INFO  AbstractCoordinator:555 - Discovered coordinator host:9092 (id: 2147483646 rack: null) for group good_group.
2018-05-29 16:34:22.832 INFO  AbstractCoordinator:600 - Marking the coordinator host:9092 (id: 2147483646 rack: null) dead for group good_group
2018-05-29 16:34:22.933 INFO  AbstractCoordinator:555 - Discovered coordinator host:9092 (id: 2147483646 rack: null) for group good_group.
2018-05-29 16:34:23.044 WARN  ConsumerCoordinator:535 - Auto offset commit failed for group good_group: Offset commit failed with a retriable exception. You should retry committing offsets. 

我是不是做错了什么，有办法解决这个问题吗？

Answer 1

但是当我用协调器杀死那个特定的节点时，再平衡就不会发生了，我的java使用者应用程序也不会收到任何消息。

小组协调员接收来自消费者组中所有消费者的心跳。它维护一个活动使用者列表，并在更改该列表时启动重新平衡。然后，组长执行再平衡活动。

这就是为什么如果你杀了小组协调员，再平衡会停止的原因。

更新

在组协调代理关闭的情况下，将通知动物园管理员，并且选举将自动从活动代理中提升新的组协调员。所以和小组协调员无关。让我们看看日志：

2018-05-29 16:34:23.044 WARN  ConsumerCoordinator:535 - Auto offset commit failed for group good_group: Offset commit failed with a retriable exception. You should retry committing offsets.

内部主题__consumer_offset的复制因子可能有默认值1。您能检查default.replication.factor和offsets.topic.replication.factor在server.properties文件中的值吗？如果默认情况下值为1，则应将其更改为较大的值。如果没有这样做，组协调器关闭将导致偏移管理器停止而不进行备份。因此，无法完成提交抵消的活动。