卡夫卡将元数据存储在动物园管理员的哪里？(哪条路径？)

Question

我们有ambari集群，有3个动物园管理员服务器和3个kafka机器。

hadoop版本( HDP - 2.6.4 )

卡夫卡将元数据存储在动物园管理员的哪里？(哪条路径？)

我不确定，但也许数据存储在这里？

 ls -ltr /data/var/hadoop/zookeeper/version-2
total 5859168
-rw-r--r-- 1 zookeeper hadoop 199306787 Jan 27 00:02 snapshot.4a00023317
-rw-r--r-- 1 zookeeper hadoop 199274273 Jan 27 00:03 snapshot.4a0002332b
-rw-r--r-- 1 zookeeper hadoop 199278370 Jan 27 00:05 snapshot.4a00023349
-rw-r--r-- 1 zookeeper hadoop 193934228 Jan 29 00:01 snapshot.4a0002ade3
-rw-r--r-- 1 zookeeper hadoop 193934228 Jan 29 00:03 snapshot.4a0002adf6
-rw-r--r-- 1 zookeeper hadoop 188207547 Jan 31 00:00 snapshot.4a00033393
-rw-r--r-- 1 zookeeper hadoop  67108880 Feb 17 15:08 log.4b0001e57a
-rw-r--r-- 1 zookeeper hadoop 189085214 Feb 17 15:08 snapshot.4b00046dc8
-rw-r--r-- 1 zookeeper hadoop  67108880 Feb 19 20:56 log.4b00046dca
-rw-r--r-- 1 zookeeper hadoop 190336796 Feb 19 20:56 snapshot.4b0005659b
-rw-r--r-- 1 zookeeper hadoop  67108880 Feb 22 01:30 log.4b0005659d
-rw-r--r-- 1 zookeeper hadoop 190348010 Feb 22 01:30 snapshot.4b000643

Answer 1

这取决于哪一个元数据！

默认情况下，Kafka在动物园管理员中使用多条路径：

• /brokers：这包括活跃的代理以及主题配置、分配和当前ISRs。
• /controller：这个ZNode由卡夫卡集群中的当前控制器拥有。
• /admin：这包含删除主题请求
• /config：这包含了对经纪人、配额的过度信任。
• 名单还在继续..。

Wiki有一个关于ZK数据结构的页面，但是它已经过时了，并且丢失了很多条目：https://cwiki.apache.org/confluence/display/KAFKA/Kafka+data+structures+in+Zookeeper

另一件值得注意的是，在默认情况下，卡夫卡将创建所有这些路径下/但你可以让卡夫卡使用一个“色”与zookeeper.connect。例如，如果将其设置为localhost:2181/some_path，则所有路径都将位于/some_path：/some_path/brokers、/some_path/controller等

最后，动物园管理员将所有这些数据保存在磁盘上的log文件中。路径由dataDir设置在zookeeper.properties中指定。默认情况下，卡夫卡是/tmp/zookeeper。

Answer 2

我看到你的评论，已经太晚了，但可能仍然会对面对这个问题的人有所帮助。非常简单的注意事项，请在动物园管理员虚拟文件系统上而不是在动物园管理员服务器节点上找到您的主题。通过bin/zkCli.sh -server 【zookeeper server:port】