不同用户提交时Tez作业失败。

Question

配置了具有Kerberos安全性的Hadoop-2.6.0HA集群。在yarn-tez框架中使用tez-示例-0.6.0.jar从不同用户提交示例作业时，将获得以下异常

异常

java.io.IOException: The ownership on the staging directory hdfs://clustername/tmp/staging is not as expected. It is owned by Kumar. The directory must be owned by the submitter TestUser or by TestUser

该目录具有完全权限，但仍然获得上述异常。但是，当在yarn-tez框架中使用mapreduce 2.6.0.jar提交作业时，作业就成功地完成了。

命令

yarn jar C:\Tez\tez-examples-0.6.0.jar orderedwordcount -Dmapreduce.framework.name=yarn-tez  /user/Kumar/names /user/Kumar/names1

我们将非常感谢您的帮助。

Answer 1

在tez-site.xml中设置以下内容：

<property>
   <name>tez.staging-dir</name>
   <value>/tmp/${user.name}/tez/staging/</value>
</property>

当前暂存目录似乎被配置为使用/clustername/tmp/暂存/，这将对多个用户使用相同的路径，从而导致权限冲突。

如果使用/clustername/tmp作为前缀，请确保预先创建tmp dir并对其具有777个权限。