卡夫卡-紧凑和基于时间的保留

Question

我尝试创建一个使用压缩和删除的Kafka主题配置，以实现以下目标：

• 在保留期间内，在保留期之后保留键
• 的最新版本，任何要删除的时间戳都要删除

。

为此，我尝试了以下主题特定的配置：

cleanup.policy=[compact,delete]
retention.ms=864000000 (10 days)
min.compaction.lag.ms=3600000 (1 hour)
min.cleanable.dirty.ratio=0.1
segment.ms=3600000 (1 hour)

代理配置如下：

log.retention.hours=7 days
log.segment.bytes=1.1gb
log.cleanup.policy=delete
delete.retention.ms=1 day

当我将其设置为较小的测试量(例如20分钟、1小时等)时，我可以正确地看到数据在保留期之后被修剪，只在主题上调整retention.ms。

我可以看到，数据正按预期正确地压缩，但在10天的保留期之后，如果我从一开始就阅读了这个主题，那么远大于10天的数据仍然存在。这是否长期留用的问题呢？

我在这里缺少任何配置吗？我已经检查了kafka日志，看到代理正在按预期滚动段和压缩，但是看不到任何关于删除的内容？

卡夫卡版本是5.1.2-1

Answer 1

您的主题和代理配置可能会相互覆盖，并最终评估一个具有更高重要性的配置。