Apache Kafka的自定义连接器

Question

我希望为Apache编写一个自定义连接器，以连接到SQL数据库以获取CDC数据。我想编写一个自定义连接器，这样我就可以使用一个连接器连接到多个数据库，因为所有的市场连接器每个连接器只提供一个数据库。

第一个问题:是否可以使用一个自定义连接器连接多个数据库？另外，在那个自定义连接器中，我可以定义数据应该指向哪些主题吗？

第二个问题:我是否可以用.NET编写一个自定义连接器，或者它必须是Java？对于.net中的数据库，我可以查看CDC的自定义连接器吗？

Answer 1

没有.NET示例。Kafka仅仅是Java，而不是专门用于汇合的。

源在这里- https://github.com/apache/kafka/tree/trunk/connect

这里的依赖项- https://search.maven.org/artifact/org.apache.kafka/connect-api

想要写一个自定义连接器..。连接到SQL数据库以获取CDC数据

如果你真的想要这个特性的话，你可以扩展Debezium或者对Debezium做出贡献。

使用一个自定义连接器连接多个数据库

如果你指的是数据库服务器，那不是真的，不是。在每个连接器任务中，您的URL必须是唯一的，并且没有将任务号映射到配置值的API。如果您指的是一个服务器和多个数据库模式，那么我也不认为在一个具有多个任务的连接器中正确地“分发”(因此Debezium中的database.names配置目前只支持一个名称)。

开发了debezium，但是它不适用于我们，因为我们有微服务体系结构，我们为许多客户端提供了1000多个数据库，debezium为每个表创建了一个主题，这意味着它将是一个庞大的体系结构。

卡夫卡能很好地处理成千上万的话题。例如，如果您在Kubernetes中运行连接器进程，那么它们就可以集中部署、可伸缩和可配置。

但是，我仍然担心您需要所有的数据库来捕获CDC事件。

也曾建议使用麦克斯韦尔。