卡夫卡复制问题

Question

我用的是3经纪人卡夫卡。如果我停止第三个节点:没有问题，我可以使用节点1或2的日志。如果我停止第二个节点:没有问题，我可以使用节点1或3的日志。如果我停止第一个节点:我不能使用任何东西。

当我重启卡夫卡跑步服务的时候。日志就在这里，被正确地写好了。

我的主题配置是:主题: log_topic TopicId: xxx PartitionCount: 32 ReplicationFactor: segment.bytes=1073741824，retention.ms=7200000主题: log_topic分区:0领导人:2副本: 1,2,3 Isr: 2,3,1主题: log_topic分区: 1, 2,3，Isr: 2,3,1主题: log_topic分区:2领导人:2副本: 1,2,3 Isr: 2,3,1主题: log_topic分区:3领袖:2复制: 1,2,3 Isr: 2，31主题: log_topic分区:4领导人:2副本: 1,2,3 Isr: 2,3,1主题: log_topic分区:2，2，3 Isr: 2,3,1主题: log_topic分区:6领袖:2副本: 1, 2,3，3主题: log_topic分区:7领袖:2副本: 1,2,3 Isr: 2,3,1主题: log_topic分区:2副本: 1,2,3 Isr: 2，31主题: log_topic分区:9次:2次: 1,2,3次: 2,3,1次: log_topic分区: 10次:2次: 2,3,1次: 2,3,1次主题: log_topic分区: 11次:3次复制: 3,1,2次，2,3,1次主题: log_topic分区: 12次:3次:1，3次，2，3次，1次: log_topic分区: 13次:2次，1，1次，3次，2，3次，2，3次。1主题: log_topic分区: 14领导人:3副本: 3,2,1 Isr: 2,3,1主题: log_topic分区: 15领袖:2副本: 1,2,3 Isr: 2,3,1主题: log_topic分区: 16领袖:2副本: 2,3,1 Isr: 2,3,1主题: log_topic分区: 17领袖:3副本: 3,1,2 Isr: 2,3,1主题: log_topic分区: 18 :3复制: 1,3,2 Isr: 2,3，31主题: log_topic分区: 19段:2次复制: 2,1,3次: 2,3,1主题: log_topic分区: 20次:3次: 3,2,1次: 2,3,1次主题: log_topic分区: 21次:2次复制: 1,2,3次: 2,3,1次主题: log_topic分区: 22次领袖:2，3次，2，3次，1次: log_topic分区: 23次:3次复制:3，1次，2，3次，2，3次。1主题: log_topic分区: 24名领导人:3份副本: 1,3,2份: 2,3份，1篇主题: log_topic分区: 25份:2份:2，1份，3份:2，3份:1主题: log_topic分区: 26份:3份副本:3份，2份，1份，1份:2份:2份:2份:2份:2份，3份:2，3份:2份，2份，2份，3份，2，3份。1主题: log_topic分区: 29名领袖:3份副本:3份、1份、2份、3份、1份主题: log_topic分区: 30份:3份:3份:1份、3份、2份、2份、1份:1份: 31份:2份、1份、3份:2份、3份:2份、3份、1份。

当我停止领导节点的时候。领导者的换人很恰当。

知道吗？

Answer 1

这似乎是__consumer_offsets主题的配置问题。

_consumer_offsets用于为每个主题存储有关已提交偏移量的信息:每个消费者组的分区(groupID)。

每当一个组中的消费者从kafka读取数据时，它都会定期地存储关于这个点的信息，直到数据被读到一个名为__consumer_offsets的特殊主题。这样做是为了使使用者在发生故障时可以从其最后的位置恢复。

问题

__consumer_offsets主题的复制因子将设置为1，并且该主题的所有分区也将出现在broker 1中。

您可以描述__consumer_offsets主题来验证上面的内容。如果是这样的话，那么解决这个问题的最简单的方法就是删除__consumer_offsets主题并使用所需的复制因子重新创建它。

如果删除不是一个选项，那么按照下面线程中的说明

How to change the number of replicas of a Kafka topic?

Answer 2

确保您的__consumer_offsets 有三个副本，并且不仅托管在broker 1上。默认情况下，它只有一个副本，这是在server.properties中建立的。