kafka +如何将主题从一个磁盘传播到所有其他新磁盘

Question

我们有Kafka集群版本2.7

每台机器都有一个磁盘，如下所示

/dev/sdb                82% /var/kafka/data1

所有主题都在/var/kafka/data1 1下面。

我们决定向每个kafka添加7个磁盘，如下所示

我们在每个新磁盘上创建了XFS文件系统，包括挂载(和fstab配置)。

具体如下：

/dev/sdb                     82% /var/kafka/data1
/dev/sdc                      1% /var/kafka/data2
/dev/sdd                      1% /var/kafka/data3
/dev/sde                      1% /var/kafka/data4
/dev/sdf                      1% /var/kafka/data5
/dev/sdg                      1% /var/kafka/data6
/dev/sdh                      1% /var/kafka/data7
/dev/sdi                      1% /var/kafka/data8

我们在每台卡夫卡上配置了server.properies，然后在所有机器上重新启动kafka服务。

所以我们现在是在卡夫卡重启之后

由于我们有额外的7个磁盘，所以我们希望将位于/var/kafka/data1的主题与所有其他新磁盘分开。

但是在Kafka代理重新启动并且除了- /var/kafka/data1之外的所有挂载点文件夹都没有主题之后，情况就不是这样了。

那么问题是--用这些主题填充新磁盘的过程或过程是什么？

Answer 1

据我所知，卡夫卡并没有像Hadoop那样有一个内部节点再平衡。

理论上，您可以尝试关闭代理，将新分区挂载到目录中，将这些分区添加到log.dirs，然后将主题分区移到这些目录中，然后重新启动代理。但是，我不知道您如何处理像meta.properties这样的文件

更新broker配置后的另一种选择是使用重新分配分区工具将分区或主题从较大的代理中完全移出，然后将其移回。或者完全开始从大使用磁盘中删除目录，并让复制将其移回所有磁盘，希望如此。