在时间间隔内来自kafka主题的唯一消息

Question

我有一个kafka主题，其中1500条消息/秒由不同的生产者产生，每个消息有两个固定的键RID和Date，(对于每个消息，还有其他键是不同的)

有没有办法在主题中引入1分钟的延迟，并在1分钟的窗口中只使用唯一的消息。

示例-现在可能有大约90K的消息，其中可能有1000条(随机值)消息，其中RID为1，日期为2020年1月1日。

{"RID": "1" , "Date": "2020-01-01", ....}

我想在完成1分钟后只消费1000条消息中的1条(随机选择1000条中的任何一条)。

注意:该主题有3个分区。

Answer 1

你想要的似乎是不可能的。brokers不能根据您的业务逻辑传递消息，但它们只能传递所有消息。

但是，您可以实现客户端缓存来相应地对消息进行“去重”，并且在“去重”之后只处理消息的一个子集。

Answer 2

我不能完全肯定你的问题，但似乎你需要compaction log

它将从主题中删除最旧的消息，只需要为主题配置压缩并使用RID记录作为标识符。

希望这能对你有所帮助