最佳实践:卡夫卡的新消费者需要所有历史信息的最新状态。

Question

让我们假设这个场景：

• 每次添加/更新/删除客户时，都会在特定(“实体”)主题中发布具有当前状态的消息。
• 有几个消费者在更新他们自己的数据库，并保持他们的客户数据的最新。
• 几年后，又增加了一个新的消费者。
• 这个新的消费者需要所有的客户，他们的最新状态在其数据库中。

通过监听新消息(可能是一些保留时间)，新消费者只得到新的/更新的客户，而不是旧的客户。

解决这种情况的最佳做法是什么？我们是否需要触发生产者再次为所有客户生成一条消息(重新处理所有消息)？我们应该在Kafka之外建立新的消费者数据库吗？还有其他解决办法吗？

Answer 1

你应该看看卡夫卡测井压实。

启用后，Kafka将保留每个消息键的最后一个已知值，而不是删除旧数据。

然后，新消费者可以从话题的开头开始。