我正在使用cloudera的VM来运行hadoop。dfs空间的99%已用完。因此,我需要删除文件,但要删除文件,需要关闭安全模式。
我尝试使用以下命令关闭安全模式,
sudo -u hdfs hdfs dfsadmin -safemode leave它说它已经关闭,但由于空间不足,它会自动打开它。当我尝试删除文件时,系统显示由于打开了安全模式,您无法删除这些文件。
SafeModeException: Cannot create directory /user/cloudera/.Trash/Current. Name node is in safe mode. Resources are low on NN. Please add or free up more resources then turn off safe mode manually. NOTE: If you turn off safe mode before adding resources, the NN will immediately return to safe mode.. (error 403)要删除文件,需要关闭安全模式。要关闭安全模式,我需要释放空间!那么,如何清理文件以获得更多空间呢?
发布于 2016-04-01 20:58:42
您可以尝试通过将以下选项临时设置为较低的值来降低触发安全模式的阈值:
dfs.safemode.threshold.pct
dfs.namenode.safemode.threshold-pct此外,NameNode可能不会在离开后立即返回到安全模式。在我的例子中,我能够通过将hdfs dfsadmin -safemode leave和hdfs dfs -rm命令链接在一起来清理东西,例如
sudo su hdfs
hdfs dfsadmin -safemode leave; hdfs dfs -rm -skipTrash /path/to/stuff/to/delete发布于 2014-04-28 13:46:28
重要的是要知道,HDFS只使用硬盘驱动器的磁盘空间。因此,如果单节点系统上的HDFS已满,则本地磁盘也已满。
尝试是否可以通过删除非hdfs文件来清理文件(例如/var/log/...)
https://stackoverflow.com/questions/23329719
复制相似问题