卡夫卡设计问题-卡夫卡连接相对于自己的消费者/生产者

Question

我需要了解何时使用卡夫卡连接与自己的消费者/生产者由开发人员编写。我们正在获得合流平台。此外，为了实现容错设计，我们是否必须从所有代理运行使用者/生产者代码( jar文件)？

Answer 1

卡夫卡连接通常用于将外部源连接到卡夫卡，即produce/consume、、、外部源、、、Kafka。

你能用连接器做的任何事情都可以通过Producer+Consumer来完成

现成的连接器只方便将外部源连接到Kafka，而不要求开发人员编写低级代码。

需要记住的几点..。

如果源和接收器都是同一个connector.

• Resource集群，那么如果您正在从数据库中进行更改-数据捕获(CDC)并将它们推送到Kafka，那么连接器就没有意义了，您可以使用数据库源connector.

• Resource约束: Kafka连接是一个单独的进程。因此，请反复检查您可以在资源和轻松的development.

• If之间交换哪些内容--您正在编写自己的连接器，它很好，而且很好，除非有人还没有编写它。如果您正在使用第三方连接器，则需要检查它们的维护情况和/或支持是否可用。

Answer 2

我们必须从所有代理运行消费者/生产者代码( jar文件)吗？

不要在经纪人上运行客户端代码。允许为代理进程保留所有内存和磁盘访问权限。

何时使用卡夫卡连接与自己的消费者/产品

根据我的经验，这些因素应予以考虑。

1. 您计划无论如何部署和监视Kafka，并且有可用的资源来这样做。同样，这些程序不会在代理机器上运行--您不打算经常更改连接器代码，因为您必须重新启动整个连接器JVM，它将运行其他不需要重新启动的preferred
2. Writing
3. 连接器--您无法将自己的生产者/消费者代码集成到现有的应用程序中，或者只是希望有一个更简单的生产/消费循环
4. --它的结构化数据与特定的二进制格式没有关联--您自己的或者使用社区连接器是经过良好测试和配置的，适合您的用例

。

与原始的生产者/使用者APIs相比，Connect在容错方面的选择有限，但有更多代码的缺点，这取决于所使用的其他库。

注:汇合平台仍然是相同的Apache Kafka。

Answer 3

卡夫卡连接：卡夫卡连接是一个开源平台，它基本上包含两种类型：Sink和Source。Kafka用于从获取/放置数据，从/到数据库到 Kafka。卡夫卡连接有助于使用卡夫卡的其他各种系统。它还有助于跟踪从DB到Kafka的更改(如答案之一Changed Data Capture (CDC) )。系统维护偏移量，以便从该特定偏移量读取/写入数据到Kafka或任何其他数据库。

有关更多详细信息，请参阅https://docs.confluent.io/current/connect/index.html

生产者/消费者：

生产者和消费者只是一个终端系统，它使用卡夫卡制作和消费主题之间的卡夫卡。当我们想要向消费群体中的不同消费者广播数据时，就会使用它们。这种系统还维护了消费者群体数据的滞后和抵消。

不，你不需要运行任何生产者/消费者运行卡夫卡连接。如果要检查是否有数据丢失，则可以在运行时运行使用者。如果使用Sink连接器，则可以通过运行Sink连接器的特定select查询在数据库中验证已经生成的数据。