首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >Cloudera Manager - HDFS免费空间健康问题疑难解答

问Cloudera Manager - HDFS免费空间健康问题疑难解答
EN

Stack Overflow用户
提问于 2015-11-25 11:12:24
回答 1查看 3K关注 0票数 1

我有一个由两个主机组成的集群-

​

​

看来我正在运行的作业正在创建巨大的日志,而我的hdfs datanode中的一个显示了关键的健康问题,如-

​

​

四件事:

  1. 我怎样才能清理这些日志并腾出空间呢?从/var/log/hadoop中手动删除它们是个好主意吗?

​

​

  1. 如前所述,/var/log/hadoop目录只有610 MB,hdfs中的空间在哪里被占用?
  2. 如何将日志文件配置为定期删除?
  3. 我有HDFS、Spark和SEARE-MR2服务启动并运行--它们都在创建自己的日志。我也想把这些清理干净。

谢谢!

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2015-11-25 13:22:20

在深入研究hdfs之后-

要获取哪个目录具有多大的执行大小:hadoop fs -du -h /user/

火花服务日志创建:

由星火位置创建的日志被识别,手动删除,集群恢复到健康状态-

星星之火在HDFS的位置创建日志-

代码语言:javascript
复制
/user/spark/applicationHistory

日志文件大小为129 The。(删除)

使用的命令-(当-rm将文件移动到回收站时,我们需要将其从回收站中删除,以便正确清理)

代码语言:javascript
复制
$ hadoop fs -rm /user/spark/applicationHistory/*

$ hadoop fs -rm -r  /user/cloudera/.Trash/Current
票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/33915025

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档