问卡夫卡连接-连接器在一段时间没有数据后停止
EN

Stack Overflow用户

提问于 2022-08-11 08:46:17

回答 1查看 158关注 0票数 0

我正在运行卡夫卡连接，以分布式模式的库伯内特斯与3个接收器连接器，卡夫卡-> S3。

当数据流入Kafka，并且至少有一个连接器有数据可读取时，一切都正常。

但是，当没有数据可读取时，例如几个小时，并且没有连接器需要读取任何数据，所有连接器都会停止( Rest上的/connectors端点显示一个空列表)。因此，当新数据最终进入时，除非手动启动连接器，否则不会读取。

这是常见的行为还是我遗漏了什么？如果需要，我可以添加有关设置的其他信息。

回答已采纳

发布于 2022-08-16 14:01:44

根据注释，您的config.storage.topic不是用cleanup.policy=compact创建的，因此Kafka正在删除您对空闲配置的信任，而不是空闲连接器任务。当将信任从主题中删除时，REST将删除/connector响应信息。

请参阅有关内部连接主题的适当配置的文档

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/73317806

复制

相似问题

问卡夫卡连接-连接器在一段时间没有数据后停止EN