星星之交-群集模式失败，错误13，火花放电作业的权限被拒绝

Question

我们在默认python2.7附带的RHEL 7机器上安装了ClouderaCDH6.2。在虚拟环境中使用python3.7来提交火花作业。客户端模式与-主本地模式和-部署模式客户端工作正常。但是，在主纱线和-部署模式集群方面有问题。

此命令spark-submit --master yarn --deploy-mode cluster --conf spark.yarn.appMasterEnv.PYSPARK_PYTHON=/home/user/R1_I5/bin/python --conf spark.yarn.appMasterEnv.SPARK_HOME=/opt/cloudera/parcels/CDH/lib/spark --conf spark.executorEnv.SPARK_HOME=/opt/cloudera/parcels/CDH/lib/spark sample.py失败，出现以下两个错误

案例1错误日志：--部署模式集群

Cannot run program "/home/user/R1_I5/bin/python": error=13, Permission denied详细日志：https://drive.google.com/file/d/1J7HLNGABnStJ91ISHFBMdNe5OLEUQZ6B/view

案例2错误日志：--主纱

下面的2行是重复的，没有程序终止。

INFO yarn.Client: Application report for application_1594339922772_0012 (state: ACCEPTED)
INFO yarn.SparkRackResolver: Got an error when resolving hostNames. Falling back to /default-rack for all

Answer 1

需要检查"hdfs://dwh:8020/user//.sparkStaging/application_1594339922772_0011“目录上的权限并查看运行该程序的用户的

1. ，可以通过它访问。正确的方法是在“hdfs://dwh:8020/ user /username”下创建一个“username”目录并运行它。
2. 检查主计算机的主机名，这里的问题是它试图连接到配置中提到但无法找到的主机。您可以键入。转到Cloudera管理器并使用重新部署配置的选项，也检查/etc/主机，看看它是否与Cloudera管理器中提到的主机名匹配。

。