Kafka和IIDR CDC

Question

我正在尝试使用：DB2--IBM -Kafka来构建CDC管道，并试图找到正确的方法来设置这个管道。我试过在下面-

1.在prem上的linux上安装一个3节点kafka集群

2.使用- setup-iidr-11.4.0.1-5085-linux-x86.bin文件在linux上安装IIDR软件。CDC实例已经启动并运行。

各种在线文档建议安装“IIDR管理控制台”来配置源数据存储和CDC服务器配置，并配置Kafka订阅配置来构建管道。

目前，我没有安装管理控制台。很少有人问这个问题-

1.在设置kafka-CDC管道时，是否有任何替代IBM管理控制台的方法？

2.如何获得IIDR管理控制台？如果我们将它安装在本地的windows dekstop上，并试图连接到远程linux服务器上的CDC/Kafka，它会工作吗？

3.是否有其他方法将数据摄入IIDR CDC设置为Kafka？

我是CDC/ IIDR的新手，请帮忙！

Answer 1

我自己开发的IIDR卡夫卡目标为我们的CDC复制产品。

管理控制台是最初设置订阅的最佳方法。你可以把它安装在一个窗口盒上。

从技术上讲，我相信您也可以使用我们的脚本语言CHCCLP来设置订阅。但我建议使用GUI。

以下是我们在IIDR (CDC) Kafka Target上的资源链接。搜索"Kafka“部分。

"7e7962f5ac59/page/IIDR%20Wiki“

设置订阅和复制的一个例子是这个视频。

https://ibm.box.com/s/ur8jokg6tclsx5fcav5g86a3n57mqtd5

管理控制台和访问服务器可以从获得。

我已经将MC/Access服务器安装在我的VM上和我的个人窗口盒上，以便对我的linux VM使用它。当然，你需要连接。

你一定可以在我们的支持下跟进，他们会帮你解决的。另外，我们的知识中心有博士从这里开始.cdc.html

您会发现，我们的Kafka目标非常灵活--它附带了五种不同的格式来将数据写入Kafka，并且您可以选择以审计格式捕获数据，或者使用Kafka压缩兼容的键，删除方法为null。

此外，您甚至可以使用该产品从单个insert操作中以多种格式将多条记录写入多个不同的主题。如果您的一些消费应用程序需要JSON和其他Avro二进制程序，这是非常有用的。此外，您还可以使用它将所有数据放到更安全的主题上，并且只将一些数据写入到更多人可以访问的主题中。

我们甚至有客户在复制时对列进行加密。

最后，即使您选择只使用一个生产者来写出数据，产品的转换也可以并行化。

实际上，最后，我们还提供了使用特殊使用者的选项，它为写入Kafka并在主题和分区之间分解的数据生成数据库ACID语义。它重新订购了。我们称它为交易一致的消费者。它提供了操作顺序、重新启动应用程序的书签，并允许性能上的并行性，但只需要对数据进行一次重复使用。

从我在卡夫卡峰会上的演讲..。

https://www.confluent.io/kafka-summit-sf18/a-solution-for-leveraging-kafka-to-provide-end-to-end-acid-transactions