Kafka与异构消息

Question

我正在做一些关于Kafka和Avro的研究，我有一个关于如何使用Kafka处理异构消息的问题。

假设我们有两个Avro模式：EmailSent和UserLoggedIn。卡夫卡的最佳消费方式是什么？

1. 为每个架构创建一个主题？但如果我们有更多的模式听起来不是个好主意..。
2. 将模式名称(或像email_sent或user_logged_in这样的标识符)存储在KeyedMessage键中，让每个使用者按键进行筛选？但是每个消费者都要消耗掉所有的事件，这可能是一种开销.
3. (另一种:)

我希望我的疑虑是清楚的。提前感谢您的帮助！

干杯,

镭。

Answer 1

1st Approach：我认为，这可以用一个主题来完成。您可以根据主题中的分区分离这两个架构数据集。假设您在主题中创建了4个分区。在1和2中写email_sent，在3和4中写user_logged_in。

一个消费群体将订阅1和2。第二个消费者组将订阅3和4。在这个过程中，没有不必要的IO被做。

2nd Approach：创建两个独立的主题。