Hadoop datanode块存储信息

Question

我想找出在Hadoop集群中存储了多少块，特别是Datanode。以及这些数据块属于哪个文件。我只有一个2-node集群。

Answer 1

由于您只有2个节点群集，所有的块都将存储在那里。一般来说，我不这样认为，你可以很容易地找到哪些块存在于datanode上。顺便问一下，这个的用例是什么？

Answer 2

将web浏览器指向NameNode_Machine:50070，转到HDFS webUI。转到Cluster Summary并单击Live Datanodes。它将在一个表中显示当前可用的所有DataNodes，该表的最后一列将显示块的数量。

要找到文件和其块之间的关系，您可以在webUI和中打开该文件，然后向下滚动。它将显示该文件的所有块以及每个块的位置。

Answer 3

您可以使用带有参数-locations的hadoop fsck命令来了解每个块的位置。

Usage: hadoop fsck [GENERIC_OPTIONS] <path> [-move | -delete | -openforwrite] [-files [-blocks [-locations | -racks]]] 

Here是参考页面，更多信息请搜索fsck。