当我使用镜像器2时,我有一个问题。
Mirrormaker 2基于Kafka框架,可以将其核心看作是Kafka源和接收器连接器的组合。因此,在MM2体系结构中,有源和接收器连接器。但是,对于MM2中的连接器,是否有额外的Kafka集群?因为在kafka连接设计中,源和汇连接器需要Kafka集群来移动数据。
例如,MM2需要源和目标集群;我的问题是,需要第三个MM2来进行镜像操作,而不使用源集群和目标集群。
另一个问题是,是否可以在分布式模式下运行MM2连接器? --我没有看到关于这个问题的任何配置?
例如,在docker环境中;下面的配置是否足以在分布式模式下运行MM2?
mirrormaker:
image: 'wpietri/mirror-maker:2'
environment:
- SOURCE=source_ip:9092
- DESTINATION=dest_ip:9092
- TOPICS=test-topic
deploy:
replicas: 3
mode: replicated发布于 2020-10-15 09:48:46
目前,MirrorMaker 2是一组源连接器。
源连接器从外部系统抓取记录,并将它们交给Kafka Connect运行时,后者将它们写入Kafka。
对于MirrorMaker 2来说,“外部系统”是另一个卡夫卡集群。因此,为了工作,MirrorMaker 2只需要2个卡夫卡集群。一个连接器获取记录(称为源集群),另一个连接Kafka Connect (称为目标集群)。
MirrorMaker 2连接器是标准的卡夫卡连接连接器。它们可以在独立或分布式模式下直接与Kafka一起使用。
https://stackoverflow.com/questions/64367741
复制相似问题