防止camus增加偏移值

Question

有没有什么方法可以防止camus增加偏移值，并使其始终读取前一个值？

以及如何为创建的文件提供自定义名称，而不是常规格式，即topic.leaderId.partitionId.partitioner.encodePartition(context, key)

Answer 1

映射器输出的文件名在com.linkedin.camus.etl.Patitioner类的generateFileName方法中生成。

您可以实现自定义分区程序并在as中提供逻辑

@Override public String generateFileName(JobContext context, String topic, String brokerId, int partitionId, int count, long offset, String encodedPartition) { return "MyCustomFileName-"+topic+partitionId; }