维瑞德卡夫卡消费集团再平衡

Question

我的卡夫卡主题有两个分区和一个卡夫卡消费者。我已经在AWS中部署了我的消费者应用程序(Spring)。在日志中，我经常看到卡夫卡消费者的再平衡。这种情况不经常发生。根据当前的观察，当消费者倾听话题而无所事事时，这种再平衡就会发生。感谢有人能解释我的这种行为。我在这里张贴了一些日志。

[Consumer clientId=consumer-b2b-group-1, groupId=b2b-group] Request joining group due to: group is already rebalancing
[Consumer clientId=consumer-b2b-group-1, groupId=b2b-group] Revoke previously assigned partitions order-response-v3-qa-0, order-response-v3-qa-1
[Consumer clientId=consumer-b2b-group-1, groupId=b2b-group] Revoke previously assigned partitions order-response-v3-qa-0, order-response-v3-qa-1
b2b-group: partitions revoked: [order-response-v3-qa-0, order-response-v3-qa-1
[Consumer clientId=consumer-b2b-group-1, groupId=b2b-group] (Re-)joining group

Answer 1

再平衡是一种自动优化不均匀工作负载和拓扑变化(例如添加或删除代理)的功能。这是通过一个背景过程来实现的，该过程不断地检查各种度量，以确定是否以及何时应该进行再平衡。您可以通过下面的链接了解更多知识：

https://medium.com/streamthoughts/apache-kafka-rebalance-protocol-or-the-magic-behind-your-streams-applications-e94baf68e4f2

Answer 2

卡夫卡开始了一个再平衡，如果一个消费者加入或离开一个群体。以下是能够或将要发生这种情况的各种原因。

消费者加入一个组：

启动/重新启动--如果我们部署一个应用程序(或重新启动)，一个新的使用者加入group

• Application扩展--我们正在创建新的pods/application

。

A消费者留下一个组：

1. max.poll.interval.ms超出--未在session.timeout.ms超过时间内处理--没有发送心跳(可能是由于应用程序崩溃或网络error
2. Consumer关闭
3. Pod迁移)--库伯内特斯有时会重新定位豆荚，例如，如果节点通过kubectl排水系统被移除，或者集群被缩小。使用者关闭(离开组)，并在另一个节点上重新启动(加入group).
4. Application伸缩

)。

如果你想更深入地了解。这是我读过的一篇很棒的文章

https://medium.com/bakdata/solving-my-weird-kafka-rebalancing-problems-c05e99535435