Camus迁移- Kafka HDFS连接不会从设置偏移开始

Question

我目前正在使用汇合HDFS Sink连接器(v4.0.0)来取代Camus。我们正在处理敏感数据，因此我们需要在连接到连接器的过程中保持偏移的一致性。

切入计划：

1. 我们创建了hdfs接收器连接器，并订阅了一个写入临时hdfs文件的主题。这将创建一个名为connect的使用者组。
2. 使用删除请求停止连接器。
3. 使用/usr/bin/kafka-consumer-groups脚本，我能够将连接器使用者组kafka主题分区的当前偏移量设置为所需的值(即最后一次偏移量Camus编写的+ 1)。
4. 当我重新启动hdfs接收器连接器时，它将继续读取上次提交的连接器偏移量，并忽略设置的值。我期望hdfs文件名类似于: hdfs_kafka_topic_name+kafkapartition+Camus_offset+Camus_offset_plus_flush_size.format

我对汇合连接器行为的期望是否正确？

Answer 1

重新启动此连接器时，它将使用写入hdfs的最后一个文件中嵌入的偏移量。它不会使用使用者组偏移量。它之所以这样做，是因为它使用预写日志来实现一次准确地向hdfs交付。