卡夫卡连接REST Api当我得到/connectors路径时崩溃

Question

我目前正在三个节点集群上部署Kafka连接集群。我的集群是一个cloudera (Version5.x)，它设置了kerberos。

在尝试Kafka之前，我成功地设置了一个主题，用于生产者和消费者控制台实现。我认为，准确地说，这在过去是可行的，这可能是相关的。

我遇到了这个错误：

牧民工作线程中的(org.apache.kafka.connect.runtime.distributed.DistributedHerder:228) org.apache.kafka.common.errors.TimeoutException:错误异常，退出:在确定分区连接偏移量-0之前，超过60万be的

超时时间已过期。

在寻找类似的问题之后，我发现有些人通过设置主题connect-status、connect-offsets、connect-configs来使其工作。

我确实喜欢：

bin/kafka-topics.sh --create --topic connect-status --zookeeper address:2181 --replication-factor 1 --partitions 1

bin/kafka-topics.sh --create --topic connect-offsets --zookeeper address:2181 --replication-factor 1 --partitions 1

bin/kafka-topics.sh --create --topic connect-configs --zookeeper address:2181 --replication-factor 1 --partitions 1

它对我没有用，而且即使它能起作用，我也有点惊讶，用partitions of 1设置这些主题在生产中是可以接受的，它不能是最终的解决方案，不是吗？

我能做些什么？

编辑:所以我只是在分布式模式下再次运行了kafka连接，而没有尝试到达/connectors路由，它还是崩溃了。

参考文献：

Not able to run Kafka Connect in distributed mode - Error while attempting to create/ find topics 'connect-offsets'

https://github.com/confluentinc/kafka-connect-jdbc/issues/189

Answer 1

也许是CDH团队的一些黑客，对于这些主题只有一个分区。但是，如果您将--replication-factor设置为3，那么在您的连接器失败时，您不会丢失Kafka配置/偏移/状态。