首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >镜子制造者2需要第三个卡夫卡来进行镜像操作吗?

镜子制造者2需要第三个卡夫卡来进行镜像操作吗?
EN

Stack Overflow用户
提问于 2020-10-15 08:33:19
回答 1查看 536关注 0票数 0

当我使用镜像器2时,我有一个问题。

Mirrormaker 2基于Kafka框架,可以将其核心看作是Kafka源和接收器连接器的组合。因此,在MM2体系结构中,有源和接收器连接器。但是,对于MM2中的连接器,是否有额外的Kafka集群?因为在kafka连接设计中,源和汇连接器需要Kafka集群来移动数据。

例如,MM2需要源和目标集群;我的问题是,需要第三个MM2来进行镜像操作,而不使用源集群和目标集群

另一个问题是,是否可以在分布式模式下运行MM2连接器? --我没有看到关于这个问题的任何配置?

例如,在docker环境中;下面的配置是否足以在分布式模式下运行MM2?

代码语言:javascript
复制
mirrormaker:
    image: 'wpietri/mirror-maker:2'
    environment:
      - SOURCE=source_ip:9092
      - DESTINATION=dest_ip:9092
      - TOPICS=test-topic
    deploy:
      replicas: 3
      mode: replicated
EN

回答 1

Stack Overflow用户

发布于 2020-10-15 09:48:46

目前,MirrorMaker 2是一组源连接器。

源连接器从外部系统抓取记录,并将它们交给Kafka Connect运行时,后者将它们写入Kafka。

对于MirrorMaker 2来说,“外部系统”是另一个卡夫卡集群。因此,为了工作,MirrorMaker 2只需要2个卡夫卡集群。一个连接器获取记录(称为源集群),另一个连接Kafka Connect (称为目标集群)。

MirrorMaker 2连接器是标准的卡夫卡连接连接器。它们可以在独立或分布式模式下直接与Kafka一起使用。

票数 3
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/64367741

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档