HDFS是否可以成为datanode中的孤立文件？

Question

在删除超过60天的日志的日常日志修剪作业中，系统管理员将专用宿主机从4.3升级到4.6，(我知道，我知道)...

通常，日志修剪作业会释放大约40%的HDFS可用存储空间。然而，在升级过程中，数据节点宕机，重新启动，各种疯狂。

已知的是，HDFS接收到了delete命令，因为HDFS文件/文件夹已不存在，但磁盘利用率仍未改变。

我的问题是，HDFS是否已经从NameNode的元数据中删除了文件，而没有实际完成DataNodes中的文件块删除，从而有效地孤立了文件块？

Answer 1

我认为namenode告诉数据节点删除孤立的块，一旦它得到了它们所持有的块的报告，并且它注意到其中的一些块不属于任何文件。

如果您不想删除这些块，您可以将系统置于安全模式，并尝试手动查看磁盘并复制数据。没有自动执行此操作的方法，但将来可能会添加一个列出孤立块的工具(如本JIRA中所建议的)。

此外，您可以尝试使用Hadoop的fsck检查名称系统的运行状况。