我知道如何删除卡夫卡连接器,正如这里提到的,Kafka Connect - How to delete a connector
但我不确定它是否也删除/删除特定连接器相关的配置,补偿和状态从*.sorage.topic为该工人?
For例如:可以说,我删除了一个连接器名为“连接器-ABC-1.0.0”的连接器,并使用以下配置启动了Kafka。
offset.storage.topic=<topic.name>.internal.offsets
config.storage.topic=<topic.name>.internal.configs
status.storage.topic=<topic.name>.internal.status发布于 2019-01-16 04:00:48
因为Kafka仅仅是附加的,那么删除这些Connect主题中的消息的唯一方法是,如果它是以连接器名作为消息键,以null作为值发布的话。
您可以使用控制台使用者检查这些主题,以查看其中包括--property print.key=true在内的数据,并在删除连接器时保持使用者运行。
您可以在Sink上PUT一个新的配置,但是使用的任何特定偏移都取决于实际的连接器类型(接收器/源);例如,存在由Sink连接器使用的内部Kafka __consumer_offsets主题,以及源连接器可以选择使用的offset.storage.topic。
同一工人的“同名”但配置不同(不同的offset.start或connector.class)?
考虑到以上所述,我不确定更改connector.class是否是一个好主意,因为它会完全改变连接器行为。offset.start不是我所知道的属性,因此您需要查看特定连接器类的文档才能知道它的功能。
发布于 2019-01-15 22:21:12
删除连接器时,偏移量将保留在偏移量主题中。如果您用相同的名称重新创建连接器,它将重用上次执行时的偏移量(即使连接器在中间被删除)。
https://stackoverflow.com/questions/54205625
复制相似问题