在Kafka HA中，为什么至少需要3名经纪人而不是2名经纪人？

Question

我们正在尝试使用Kafka集群来实现kafka HA。在进行研发时，我们发现推荐给动物园管理员和kafka经纪人的最小节点数是3个。

我们理解为什么动物园管理员应该有最少3个节点，因为对于领袖选举最小(n+1)/2节点应该启动和运行。

但还不清楚，为什么至少需要3名卡夫卡经纪人。为什么我们不能用两个kafka代理和3个zookeepr节点来实现HA呢？

Answer 1

由于仲裁属性的存在，动物园管理员的最小节点数为3。这应该是奇怪的，因为没有使用偶数的节点。例如:节点总数为8个的动物园管理员可以降级为7个。由于协商一致的算法，动物园管理员中的许多节点也不是很好。(例如:帕克斯)

对于卡夫卡集群，我个人认为设置2个经纪人是可以的。但最好有3名经纪人。因为维护ISR - In同步副本的原因。

假设你的卡夫卡集群有两个经纪人。为了保持数据的高可用性和一致性，我们将副本和ISR都设置为2，有趣的部分是min-ISR属性。如果您将min设置为1，则领导者失败，很可能您没有任何剩余的副本。如果您将min设置为2，当领导者或跟随者失败时，生产者和消费者也不能工作。

如果我们的Kafka集群有3个代理，并且我们设置ISR = 3，则min等于2。在这种配置下，我们承担在工作中丢失一个副本(领导者或追随者)的风险。例如，如果我们失去了领袖，至少有一个跟随者不同步地进行切换。如果我们失去了一个追随者，我们仍然有一个剩余的追随者保持最小ISR为2。

Answer 2

除@hqt外，还回答：

您可以只使用2个代理来安装Kafka集群，但是推荐的生产replication-factor是3，因此需要3个brokers才能实现这一点。

另外，你应该考虑到汇合会正在努力将领袖选举迁移到卡夫卡，所以在未来你将不再需要动物园管理员了，这可能意味着有一些卡夫卡经纪人。