-- SPARK_SUBMIT_OPTIONS中的文件在齐柏林飞艇中不起作用

Question

我有一个python包，其中包含许多内置于.egg文件中的模块，我想在齐柏林飞艇笔记本中使用它。为了将这个包传递给zeppelin spark解释器，您可以通过conf/ zeppelin -env.sh中SPARK_SUBMIT_OPTIONS中的--files选项将其导出。

当我通过SPARK_SUBMIT_OPTIONS中的-- .egg选项添加文件时，zeppelin notebook没有抛出错误，但我无法在zeppelin notebook中导入模块。

什么是正确的方式来传递一个.egg文件齐柏林星火解释程序？

Spark版本为1.6.2，zeppelin版本为0.6.0

zepplein-env.sh文件包含以下内容：

export SPARK_HOME=/home/me/spark-1.6.1-bin-hadoop2.6
export SPARK_SUBMIT_OPTIONS="--jars /home/me/spark-csv-1.5.0-s_2.10.jar,/home/me/commons-csv-1.4.jar --files /home/me/models/Churn-zeppelin/package/build/dist/fly_libs-1.1-py2.7.egg"

Answer 1

您还需要调整executor节点上的PYTHONPATH：

export SPARK_SUBMIT_OPTIONS="... --conf 'spark.executorEnv.PYTHONPATH=fly_libs-1.1-py2.7.egg:pyspark.zip:py4j-0.10.3-src.zip' ..."

似乎不可能将其附加到现有的python路径，因此请确保列出所有必需的依赖项。