hdfs jmxget与hdfs fsck

Question

我有两个名称节点和几个数据节点，但今天我刚刚看到我有一些损坏的块。

尴尬的是：

hdfs jmxget -server namenode02 -port 8006 | grep  CorruptBlocks

CorruptBlocks=27

当我和hdfs fsck /确认后，我得到了：

Total size:    734930879995888 B (Total open files size: 537967073 B)
 Total dirs:    1501316
 Total files:   113743394
 Total symlinks:                0 (Files currently being written: 137)
 Total blocks (validated):      109063040 (avg. block size 6738587 B) (Total open file blocks (not validated): 133)
 Minimally replicated blocks:   109063040 (100.00001 %)
 Over-replicated blocks:        0 (0.0 %)
 Under-replicated blocks:       0 (0.0 %)
 Mis-replicated blocks:         0 (0.0 %)
 Default replication factor:    3
 Average block replication:     3.001944
 Corrupt blocks:                0
 Missing replicas:              0 (0.0 %)
 Number of data-nodes:          103
 Number of racks:               1
FSCK ended at Mon Feb 12 10:09:10 CET 2018 in 1608344 milliseconds

所以有了fsck，块就没什么不好的了。这张支票是怎么开的？

提前谢谢你！

Answer 1

对于hdfs jmx命令，我们有来自Hadoop的块的总体状态，其中似乎有几个块可能已损坏(不知道原因)。对于fsck命令，我们有文件的状态，由于副本编号设置，这些文件是安全的。结论是这是正常行为，这里没有异常。