如何发送和运行火花-提交与虚拟

Question

我试图在独立集群上提交spark作业，我将虚拟主机压缩为venv.zip，并将该作业作为shell脚本提交

#!/bin/sh
PYSPARK_PYTHON=./venv/bin/python \
PYSPARK_DRIVER_PYTHON=./venv/bin/python 
spark-submit \
--jars ojdbc6.jar \
--master spark://HOST:7077 \
--archives venv.zip#venv \
job.py

但我一直认为，即使模块存在于venv中，并且在本地模式下运行得很好，也找不到模块。

我还尝试登录到worker节点并尝试运行venv，，在手动激活之后，可以找到模块，似乎脚本正在使用系统范围的python，如何修复这个问题呢？

Answer 1

我可以用下面的片段来完成，基本上，我压缩了venv的内容，并将venv放在HDFS中(如果您没有HDFS或者节点没有任何共享的可访问位置)，如果您没有.那么，我认为您可以在同一路径下的所有节点上克隆虚拟环境。

#!/bin/sh
PYSPARK_PYTHON=./venv/bin/python \
PYSPARK_DRIVER_PYTHON=./venv/bin/python \
spark-submit \
--conf spark.yarn.appMasterEnv.PYSPARK_PYTHON=./venv/bin/python \
--conf spark.executorEnv.PYSPARK_PYTHON=./venv/bin/python \
--conf spark.yarn.dist.archives=hdfs:///user/sw/python-envs/venv.zip#venv \
--conf spark.yarn.appMasterEnv.HADOOP_USER_NAME=hdfs \
--conf spark.executorEnv.HADOOP_USER_NAME=hdfs \
--master yarn \
--deploy-mode cluster \
--py-files p1.py,p2.py \
main.py