Kafka-python生产者enable.idempotent

Question

我面临着kafka中的重复数据，所以我想在kafka-python中使用幂等性，但不幸的是它不是它的一部分，我如何才能停止相同分区中的复制数据而不使用幂等性，或者有任何方法导入它或自定义当前的库？提前谢谢。

Answer 1

你最好使用confluent_kafka，因为kafka-python不提供这个特性。看看这个link

producer = Producer({'bootstrap.servers': ‘localhost:9092’,
          'enable.idempotence': True})

这个特性是在librdkafka (一个用C编写的库)的1.0.0版本中提供的。