HDFS存储检查显示不同的值

Question

我遇到了一个奇怪的情况，我从hdfs dfs -du命令中得到了不同的结果，以及我在cloudera管理器UI中看到的结果，我读到了这两个命令之间的差异，但没有任何线索可以帮助我抓住问题并解决它。

我也删除了所有的快照并禁止它们，但是存储没有改变。

以下是输出：

[cloudera-scm@roor-chc101 root]$ hdfs dfs -du -h -s .
2.3 G  5.8 G  .
[cloudera-scm@roor-chc101 root]$ hdfs dfs -du -h -s /
250.3 T  749.3 T

Cloudera管理器UI

我还检查了hdfs dfsadmin -report，它显示了与UI相同的结果

Configured Capacity:    1.54 PB
DFS Used:   897.77 TB
Non DFS Used:   2.98 GB
DFS Remaining:  682.27 TB
DFS Used%:  56.82%
DFS Remaining%: 43.18%
Block Pool Used:    897.77 TB
Block Pool Used%:   56.82%
DataNodes usages% (Min/Median/Max/stdDev):  11.17% / 58.94% / 69.35% / 13.31%
Live Nodes  45 (Decommissioned: 0)
Dead Nodes  0 (Decommissioned: 0)
Decommissioning Nodes   0
Total Datanode Volume Failures  0 (0 B)
Number of Under-Replicated Blocks   0
Number of Blocks Pending Deletion   0
Block Deletion Start Time   8/14/2017, 10:57:30 AM

Answer 1

我添加了hdfs dfs -du -h -s。和hdfs dfs -du -h -s /只是为了显示我可能遗漏的任何东西，它们可能在/user/cloudera-scm下。

cloudera manager UI显示了与hdfs dfsadmin -report相同的值。

顺便说一句，我解决了我发现/tmp/logs/cloudera-scm使用150T的问题，并且仍然感兴趣的是为什么在我运行hdfs dfs -du -h -s时没有考虑这个卷