在kafka log.dir配置中添加多个目录，并为部分分区创建软链接。有什么关系呢？

Question

我在kafka集群中的一些服务器有非常高的io util，所以我尝试将一些kafka分区数据目录移动到另一个磁盘，以减少高io util。与在log.dir配置中添加多个目录不同，似乎简单地将一些分区目录移动到其他磁盘并创建软链接要容易得多。那么，这两种方法之间有区别吗？

Answer 1

将负载分散到新磁盘上是可行的，方法是求助于操作系统，例如创建您提到的符号链接。卡夫卡应该被设计成没有意识到它。我的意思是，您应该能够为这些分区生成/使用任何记录。但是，由于一个已知的bug (KFAKA-7897)主题无法成功删除，并且无论您使用的是哪个版本，在主题删除过程中，只会删除符号链接，而不会删除真正的目标文件。