如何将单节点Kafka扩展为多节点集群？

Question

我要安装卡夫卡公司的消息。计划是首先在一台巨大的机器上安装卡夫卡，并在需要时将其扩展到4-5台机器(一个集群)。

我对卡夫卡没什么经验。想问一问是否可以通过更改代理配置中的参数并在新加入的机器上安装动物园管理员来进行缩放。

或者我怎样才能用最简单的方式来做这件事呢？更具体地说，CDH中的Cloudera Kafka。

谢谢

Answer 1

要扩展Kafka，如果需要使用kafka-topics.sh，您必须向主题添加更多的分区。而不是使用kafka-resign-partions.sh将分区重新分配给新的代理。

重新分配实用程序将自动复制和分派数据。您可以对整个主题或对一组有选择的分区执行此操作。

完整的文档是这里。看看第6节。