我有HDP Hortonworks 2.5.3集群,MAPREDUCE在纱线中的作业正因错误而失败:
java.io.IOException: DistCp failure:作业job_1498784032636_0015失败:应用程序application_1498784032636_0015失败2次,原因是appattempt_1498784032636_0015_000002的AM容器退出exitCode:-1000以获得更详细的输出,请检查应用程序跟踪页面:0015,然后单击指向每次尝试日志的链接。诊断:应用程序application_1498784032636_0015初始化失败(exitCode=255),输出: main :命令提供0,main : run as user is hdfs主:请求纱用户是hdfs请求用户hdfs被禁止
后来我谷歌了一下,似乎hdfs用户是被禁止的用户,根据文件/etc/hadoop/conf/tainer-Executor.cfg在每个节点上的配置,下面是文件的内容:
yarn.nodemanager.local-dirs=/hadoop/yarn/local
yarn.nodemanager.log-dirs=/hadoop/yarn/log
yarn.nodemanager.linux-container-executor.group=hadoop
banned.users=hdfs,yarn,mapred,bin
min.user.id=500我修改了所有节点(namenode、edge和数据节点)中的文件,如下所示:
yarn.nodemanager.local-dirs=/hadoop/yarn/local
yarn.nodemanager.log-dirs=/hadoop/yarn/log
yarn.nodemanager.linux-container-executor.group=hadoop
#banned.users=hdfs,yarn,mapred,bin
min.user.id=500并通过Ambari重新启动HDFS、stage和MapReduce2中的所有服务,在重新启动作业时出现同样的错误,并检查/etc/hadoop/conf/容器-Executor.cfg内容,将其重新设置到初始阶段如下:
yarn.nodemanager.local-dirs=/hadoop/yarn/local
yarn.nodemanager.log-dirs=/hadoop/yarn/log
yarn.nodemanager.linux-container-executor.group=hadoop
banned.users=hdfs,yarn,mapred,bin
min.user.id=500知道这里的解决方案是什么吗,从被禁止的用户列表中删除用户?
发布于 2017-07-13 00:07:24
首先要注意的是,您不能评论banned_users行,而是在banned_users列表的值中设置正确的用户。(也就是说,如果您不想禁止用户hdfs,那么将banned.users=hdfs,yarn,mapred,bin更改为banned.users=yarn,mapred,bin)。如果您评论banned_users列表,那么在默认情况下,hdfs, yarn and mapred将被禁止。
另外,您可以按照下面给出的步骤将更改传播到所有节点。
/var/lib/ambari-server/resources/common-services/YARN/<version>/package/templates/container-executor.cfg.j2转到Ambari服务器节点,修改以配置禁用用户。https://stackoverflow.com/questions/45069296
复制相似问题