卡夫卡:如何删除已经被消费者消费的数据？

Question

我设定了server.properties‘

log.retention.minutes=8

每8分钟自动清除卡夫卡日志下的数据，

是否可以让清洁工只清理已消耗的数据，而不被消费者使用的数据将被保留？

谢谢！

Answer 1

不是的。Kafka消息被附加到日志文件中，这些日志文件每隔x小时滚动一次，或者当它们达到一定大小时(取决于配置)。翻页后，这些文件是不可变的(不能删除单个记录)。当对文件的上一次写入访问超过保留时间时，日志文件将被清除。

换句话说:保留时间至少是一条消息被保留的时间。保留时间为分钟的消息有可能持续数周(取决于其他配置设置)。

“消费者抵消”的概念是卡夫卡为避免信息的再消费而使用的机制。Kafka 0.11也将包含精确的一次功能。