首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >用于去复制的Kafka压缩

问用于去复制的Kafka压缩
EN

Stack Overflow用户
提问于 2019-01-21 21:34:18
回答 2查看 1.6K关注 0票数 2

我试图了解Kafka压缩是如何工作的,并有以下问题: kafka是否保证主题中存储的消息的键具有启用压缩的唯一性?

谢谢!

EN

回答 2

Stack Overflow用户

回答已采纳

发布于 2019-01-21 22:58:55

简短的回答是否定的。

Kafka并不保证存储有启用主题保留的密钥的唯一性。

在卡夫卡中,有两种类型的cleanup.policy

  • delete --这意味着在配置完后,时间消息将不可用。有几个属性,可以用于:log.retention.hours、log.retention.minutes、log.retention.ms。默认情况下,log.retention.hours设置为168。这意味着,超过7天的邮件将被删除。
  • compact -对于每个密钥,至少有一条消息可用。在某些情况下,它可以是一个,但在大多数情况下,它将是更多。压缩处理定期在后台运行。它复制日志部件,删除重复项,并且只保留最后一个值。

如果您只想为每个键读取一个值,则必须使用来自Kafka Streams的抽象。

关于键和压缩的最新值的相关问题:卡夫卡只订阅最新消息?

票数 5
EN

Stack Overflow用户

发布于 2019-01-21 21:50:21

看一下4 kakfa压实的保证,数字4表示:

从日志开始的任何使用者都会看到,至少是所有记录的最终状态。此外,只要使用者在短于主题的delete.retention.ms设置的时间内到达日志的头(默认为24小时),就会看到删除记录的所有删除标记。换句话说:由于删除标记的删除与读取同时进行,如果删除标记比delete.retention.ms滞后,使用者就有可能错过删除标记。

因此,如果主题的标题没有被delete.retention.ms策略保留,则键的值将超过一个。

据我所知,如果您设置了一个24小时保持策略(delete.retention.ms=86400000),那么对于24小时前的所有消息,都有一个唯一的值。这至少是您的(至少是),但不仅仅是,在过去的24小时内,可能已经收到了许多相同密钥的其他消息。

因此,可以保证至少捕获一条,但不仅仅是最后一条,因为保留不会对最近的消息起作用。

编辑。正如cricket的注释所述,即使您设置一个delete保留属性为1天,log.roll.ms也是根据消息的时间戳定义日志段何时关闭的。由于最后一个段从未保留以进行压缩,因此它成为第二个不允许您将作为已知密钥的最后一个值的因素。如果您的主题从T0开始,那么T0+log.roll.ms之后的消息将出现在打开的日志段上,因此没有压缩。

票数 4
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/54298063

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档