不允许oozie模仿oozie

Question

我对oozie是个新手。我(使用cdh repo )在我的服务器上安装了oozie(我遵循了hadoop在CDH4中运行的CDH4文档)。

我已经使用以下信息更新了我的core-site.xml：

<!-- OOZIE -->
<property>
  <name>hadoop.proxyuser.oozie.hosts</name>
  <value>*</value>
</property>
<property>
  <name>hadoop.proxyuser.oozie.groups</name>
  <value>*</value>
</property>
<!-- -->

但是当我开始工作的时候：

sudo -u oozie oozie job -oozie http://localhost:11000/oozie -config examples/apps/sqoopList/job.properties -run

我得到了：

job: 0000004-130530171203897-oozie-oozi-W

但是，当我查看oozie job控制台时，我可以看到我的作业，但我的作业的状态为"START_RETRY“，错误如下

JA009: User: oozie is not allowed to impersonate oozie

我没有任何原木……我真的不知道出了什么问题。

我不明白为什么我不能开始工作？你能帮我做这个吗？

Answer 1

您可以尝试执行以下操作：

1. 如果Oozie服务器和Hadoop守护进程位于不同的机器上，并且您使用oozie user来运行命令:您必须在hadoop机器上创建oozie用户和oozie组。如果您有一个在另一台机器上运行NameNode的Hadoop集群，请在NameNode机器上创建它们。如果使用*通配符，添加oozie组可能是多余的(我没有对此进行测试)；但是您应该为oozie用户分配一个组。通过这种方式，HDFS可以收集用户的组信息。

这是我的配置：

<property>
<name>hadoop.proxyuser.oozie.groups</name>
<value>oozie</value>
</property>

添加oozie用户和组后，重新启动守护进程。当hadoop再次回归时，它将拥有oozie用户的组映射。

HDFS权限指南中说明了这些操作背后的逻辑：

如上所述确定用户名后，组列表由组映射服务确定，该服务由hadoop.security.group.mapping属性配置。缺省实现org.apache.hadoop.security.ShellBasedUnixGroupsMapping，将执行Unix bash -c groups命令来解析用户的组列表。

对于HDFS，用户到组的映射是在NameNode上执行的。因此，NameNode的主机系统配置确定用户的组映射。

以下两个链接可以提供有关HDFS权限的摘要。https://hadoop.apache.org/docs/r2.2.0/hadoop-project-dist/hadoop-hdfs/HdfsPermissionsGuide.html http://blog.cloudera.com/blog/2012/03/authorization-and-authentication-in-hadoop/

Answer 2

我在使用Apache Oozie时也遇到过同样的问题。

在oozie-site.xml中添加以下内容

<property>
 <name>oozie.services.ext</name>
 <value>org.apache.oozie.service.HadoopAccessorService</value >
 <description>
  To add/replace services defined in 'oozie.services' with custom implementations.Class names must be separated   by commas.
 </description>
</property>

然后重启oozie。这应该适用于Cloudera发行版also.Just，试一试，一定要让我知道。

Answer 3

使用ambari或CLI在HDFS配置中设置以下属性

Key=hadoop.proxyuser.hostname.hosts

value= *

key=hadoop.proxyuser.hostname.groups

value=*

如果您在hue中看到"user Hue not defined as proxyuser“，请执行以下步骤：

步骤1:在Ambari UI中单击oozie

步骤2:点击"configs“输入配置参数

步骤3:转到Custom oozie-site并添加以下2个属性

key=oozie.service.ProxyUserService.proxyuser.hue.groups value= *

key=oozie.service.ProxyUserService.proxyuser.hue.hosts value=*