我试图了解Kafka压缩是如何工作的,并有以下问题: kafka是否保证主题中存储的消息的键具有启用压缩的唯一性?
谢谢!
发布于 2019-01-21 22:58:55
简短的回答是否定的。
Kafka并不保证存储有启用主题保留的密钥的唯一性。
在卡夫卡中,有两种类型的cleanup.policy
delete --这意味着在配置完后,时间消息将不可用。有几个属性,可以用于:log.retention.hours、log.retention.minutes、log.retention.ms。默认情况下,log.retention.hours设置为168。这意味着,超过7天的邮件将被删除。compact -对于每个密钥,至少有一条消息可用。在某些情况下,它可以是一个,但在大多数情况下,它将是更多。压缩处理定期在后台运行。它复制日志部件,删除重复项,并且只保留最后一个值。如果您只想为每个键读取一个值,则必须使用来自Kafka Streams的抽象。
关于键和压缩的最新值的相关问题:卡夫卡只订阅最新消息?
发布于 2019-01-21 21:50:21
看一下4 kakfa压实的保证,数字4表示:
从日志开始的任何使用者都会看到,至少是所有记录的最终状态。此外,只要使用者在短于主题的delete.retention.ms设置的时间内到达日志的头(默认为24小时),就会看到删除记录的所有删除标记。换句话说:由于删除标记的删除与读取同时进行,如果删除标记比delete.retention.ms滞后,使用者就有可能错过删除标记。
因此,如果主题的标题没有被delete.retention.ms策略保留,则键的值将超过一个。
据我所知,如果您设置了一个24小时保持策略(delete.retention.ms=86400000),那么对于24小时前的所有消息,都有一个唯一的值。这至少是您的(至少是),但不仅仅是,在过去的24小时内,可能已经收到了许多相同密钥的其他消息。
因此,可以保证至少捕获一条,但不仅仅是最后一条,因为保留不会对最近的消息起作用。
编辑。正如cricket的注释所述,即使您设置一个delete保留属性为1天,log.roll.ms也是根据消息的时间戳定义日志段何时关闭的。由于最后一个段从未保留以进行压缩,因此它成为第二个不允许您将作为已知密钥的最后一个值的因素。如果您的主题从T0开始,那么T0+log.roll.ms之后的消息将出现在打开的日志段上,因此没有压缩。
https://stackoverflow.com/questions/54298063
复制相似问题