MirrorMaker2不镜像来自压缩主题的所有消息？

Question

在一些镜像主题中，我缺少镜像接收器主题中的数据！

源Kafka集群默认配置为log.rentention.ms=-1和log.cleanup.policy=compact。

使用模式:插入记录，带有键的也为空(因此Kafka在某种程度上像数据库一样使用)

MM2 Config:

• sourceCluster config：(receive.buffer.bytes: 8192；max.poll.records：
• config：(batch.size:8192；offset.flush.timeout.ms:1200000；connection.max.idle.ms: 18000000)

以下指标可用于旧的和新的接收器主题：

主题X:非空味精计数: 63k新消息数: 16k (我还检查了头尾相同的creationTime)

• Topic Y:非空味精计数: 30k新的18k；与head/tail

• Topic Z相同的故事:非空味精计数:136个新的味精计数；相同的味精计数

我的is 假设是，当MM2正在消耗一个批处理时，当这个批处理相同的密钥被取消时，第一个msg就不会被镜像。这是对的吗？如果这是正确的假设，那么如何镜像事件源主题，如果您想以与源主题完全相同的方式重新创建状态？

为什么镜像接收器主题中缺少消息？如何镜像源主题中的所有消息？

Answer 1

我写了一篇关于这个问题的博客，脚本帮助比较了这两个主题的结果-- https://imalik8088.de/posts/kafka_where_are_all_my_messages/