错误消息如下:
Could not load history file hdfs://namenodeha:8020/mr-history/tmp/hdfs/job_1392049860497_0005-1392129567754-hdfs-word+count-1392129599308-1-1-SUCCEEDED-default.jhist实际上,我知道这个问题的答案。/mr-history文件的默认设置为:
hadoop fs -chown -R $MAPRED_USER:$HDFS_USER /mr-history
但是在运行作业时(在$HDFS_USER下),作业文件保存到$HDFS_USER:$HDFS_USER下的/mr-history/tmp/hdfs,然后$MAPRED_USER (运行JobHistory服务器的位置)无法访问该文件。再次更改权限后,可以加载作业文件。
但这种情况在每一份新工作中都会重演。那么有没有人可以帮助我,这个问题的解决方案是什么,谢谢。
发布于 2014-03-17 18:56:02
我遇到了同样的问题。作为一种变通方法,我将$MAPRED_USER用户添加到$HDFS_USER组中,这很有帮助。
https://stackoverflow.com/questions/21704448
复制相似问题