卡夫卡集群架构-镜子制造者
卡夫卡集群架构-镜子制造者
提问于 2018-03-02 20:34:58
我有一个由5名经纪人和4名镜像制造者组成的Kafka集群，可以从两个不同的数据中心镜像日期。我知道kafka broker需要自己的专用硬件，特别是因为磁盘I/O、内存使用量和CPU密集型应用程序都很高。
我想知道在甚至是Kafka代理的节点上部署镜像生成器进程是否有意义，或者我是否应该考虑让镜像制造者：
- 专用节点
- 托管动物园管理员服务器的节点。
HDFS和其他cloudera服务部署在不同的节点上。
谢谢你，贝尼阿米诺
回答 1
Stack Overflow用户
发布于 2018-03-03 02:53:00
MirrorMaker只是一个普通的Java生产者/消费者对。
如果您编写了一个从远程数据中心读取的应用程序，那么在它自己的硬件上运行它有意义吗？您有可用的资源这样做吗？我个人不会对经纪人或动物园管理员负责。
如果您正在使用Docker或Kubernetes在数据中心运行，则可以在它们自己的容器中部署所有镜像实例。也可以使用regex白名单模式在一个JVM中运行所有主题。
无论您如何选择部署，建议将MirrorMaker的消耗过程放在远程数据中心，将数据提取并生成到本地集群。
编辑:从Kafka2.4开始，MirrorMaker2是构建在Kafka框架上的，是推荐的未来部署
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/49076961
复制相关文章
相似问题
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号