如何将kafka主题迁移到日志压缩？

Question

我们有一个卡夫卡主题，cleanup.policy目前正在删除这个主题。已在此主题上生成的消息没有密钥。我能够修改这个主题的配置，它不会接受任何没有键的新消息，这是合理的，也是需要的。

不过，我想知道卡夫卡将如何处理这些旧的无钥匙信息。他们会像对待一个钥匙一样被对待，还是不会受到新的清理政策的影响？

是否有迁移的最佳实践，我无法找到有关这方面的一些东西。这是一个不寻常的用例吗？

提前感谢

Answer 1

我在我的Kafka集群中做了一些测试，并为将来的问题回答了这个问题：

• 没有密钥的消息将被删除。
• 如果不添加新消息，那么分区中可能会出现一些旧消息，因为它们“在最后一个段”。当您添加新消息时，它们将被删除。

我想我将介绍一个新的压缩主题，并将我的数据重新发布到新的主题。这将导致所有消费者使用一个新的主题，但这在我的例子中是可以的。

祝你好运未来的我