卡夫卡连接-获取相关id UNKNOWN_TOPIC_OR_PARTITION元数据时的错误

Question

我们有Kafka运行一个postgres连接器，它正在从DB中提取更改并将它们放到一个主题中。我们收到了一个错误

ERROR WorkerSourceTask{id=wem-postgres-source-0} Failed to flush, timed out while waiting for producer to flush outstanding 1 messages

紧接着是

ERROR WorkerSourceTask{id=wem-postgres-source-0} Failed to commit offsets (org.apache.kafka.connect.runtime.SourceTaskOffsetCommitter)

紧接着是

[2020-01-30 09:51:52,219] WARN [Producer clientId=producer-8] Error while fetching metadata with correlation id 606994 : {topicname=UNKNOWN_TOPIC_OR_PARTITION} (org.apache.kafka.clients.NetworkClient)

我们已经验证了该主题的存在，并对该主题进行了描述，给出如下内容

zookeeper-1 [root@XX /bin]# ./kafka-topics --describe --zookeeper <zookeeper>:2181 --topic topicname

Topic:topicname PartitionCount:1    ReplicationFactor:3 Configs:
    Topic: topicname    Partition: 0    Leader: 2   Replicas: 2,3,1 Isr: 3,2,1

Answer 1

ERROR WorkerSourceTask{id=wem-postgres-source-0}未能刷新，在等待生产者刷新未完成的1条消息时超时

和

2020-01-30 09:51:52,219警告生产者客户端=生产者-8错误，同时获取相关id 606994：{topicname=UNKNOWN_TOPIC_OR_PARTITION} (org.apache.kafka.clients.NetworkClient)的元数据

来自同一个问题。你试过接触卡夫卡集群还是升级卡夫卡？最新的kafka-topics脚本使用代理主机而不是ZooKeeper主机来描述主题。

至于

(org.apache.kafka.connect.runtime.SourceTaskOffsetCommitter)

ERROR WorkerSourceTask{id=wem-postgres--0}未能提交偏移量

确保卡夫卡连接的offset.storage.topic已经在卡夫卡中创建。工人们对这个话题进行了大量的补偿。