hadoop中的磁盘使用(du)最大深度等效选项

Question

我在hadoop中寻找类似于linux中的du max-depth命令的du --max-depth=1选项。

例如：

ash@dev:~/usr $ du -h --max-depth=1
4.0K    ./Foredettinghelgen
44K     ./IssueTrackerBlogInterface
1.9M    ./IssueTrackerProduct
4.8M    ./pyexcelerator
52K     ./levenstein
532M    .

我知道$hdfs dfs -du -h -s选项，但我想知道是否有一个选项‘最大深度’。

Answer 1

那个标志不存在

您必须自己解析输出，并将字节相加。

如果您想要的是最大深度，那么您可以执行dfs du -s -h /path/*来运行/path下所有文件夹的命令

Twitter HDFS Du可能有一些您可以使用的代码

Answer 2

基于板球_007的答案，您可以用链式球体来产生与您想要的类似的东西，但是它会将文件计数为glob的一部分，所以在目录和文件混合的情况下，情况就不一样了。它也不会获取.dotfiles，但这通常不是HDFS的问题。

hdfs dfs -du -s -h /path/*/*/*/*         # sorta equivalent to du -sh --max-depth=4 /path/