基于Debezium消息操作类型的S3接收器连接器配置

Question

我们希望根据操作类型来区分Kafka(它来自Debezium)中的消息。我们正在寻找基于卡夫卡操作类型的路由消息。

Debezium发送不同类型的操作类型，如r(读)、u(更新)、删除(D)等。

就像这样

• 如果操作=r ->发送到桶1
• 如果操作= u，d ->发送到桶2

我们希望将快照和增量数据从Debezium中分离出来。

Answer 1

您可以像在这个例子中一样使用基于内容的路由器将操作发送到不同的主题(这需要安装Debezium脚本，参见相同的链接)。这将使用消息创建单独的主题，但我不知道是否可以使用相同的S3接收器连接器将两个主题带到不同的存储桶(作为看起来，它不支持路由)，因此您可能必须为每个主题创建一个连接器，并使用正确的接收器桶来配置每个主题。