清理策略:压缩/删除和log.retention

Question

我有一个关于卡夫卡话题清理策略和他们在log.retention上的互动的问题...

例如，如果我将cleanup.policy设置为compact，那么压缩只会在主题的保留时间之后开始，或者保留时间对压缩没有影响？

问题的第二部分，如果我使用compact，一起删除，假设我有一天的log.retention，主题一直被压缩，但主题的内容将在一天后被删除？或者在一天后实现压缩和删除？

感谢你的回答...

Answer 1

可以删除或压缩日志段，或同时删除和/或压缩日志段，以管理其大小。主题级配置cleanup.policy决定了主题日志段的管理方式。

通过压缩进行日志清理

如果主题级配置cleanup.policy设置为compact，则日志清理器会在后台定期压缩该主题的日志。

在压缩主题中，日志只需要包含每个键的最新消息，而较早的消息可以被丢弃。

不需要将log.retention设置为-1或任何其他值。您的主题将被压缩，旧消息永远不会被删除(根据压缩规则)。

请注意，只能压缩非活动文件段；活动文件段永远不会被压缩。

同时使用两个进行日志清理

您可以同时为cleanup.policy配置指定delete和compact值。在这种情况下，日志是压缩的，但清理过程也遵循retention time或size limit设置。

我建议你通过以下链接

https://ibm.github.io/event-streams/installing/capacity-planning/

https://kafka.apache.org/documentation/#compaction

https://cwiki.apache.org/confluence/display/KAFKA/KIP-71%3A+Enable+log+compaction+and+deletion+to+co-exist