Kafka流读写以分离集群

Question

以前也回答过类似的问题，但是这个解决方案对我的用例不起作用。

我们在两个独立的DC中运行两个Kafka集群。我们的整体传入流量是在这两个区议会之间分配的。

我将在每个DC运行单独的Kafka流应用程序来转换这些数据，并希望在一个DC中写入一个Kafka主题的。我怎样才能做到这一点？

最终，我们将用德鲁伊对卡夫卡主题数据进行索引。不可能运行单独的Druid集群，因为我们试图聚合数据。

我读过一条卡夫卡流是不可能的。有什么方法可以用另一个卡夫卡流从DC1读取并写入DC2卡夫卡集群吗？

Answer 1

正如您自己所写的，您不能使用Kafka Streams API从Kafka集群A读取并写入另一个Kafka集群B。

相反，如果您想在Kafka集群之间移动数据(无论是在同一个DC中还是在DC之间)，您应该使用像Apache的镜片制造者或合流复制器这样的工具。