从云源启动Dataproc PySpark作业

Question

我目前正在使用Airflow中的DataProcPySparkOperator和云存储中的脚本启动PySpark

run_pyspark_job = dataproc_operator.DataProcPySparkOperator(
    task_id='run-dataproc-pyspark',
    main='gs://my-repo/my-script.py',
    project_id=PROJECT_ID,
    cluster_name=CLUSTER_NAME,
    region='europe-west4'
)

有没有办法从云源存储库中传递脚本？对于给定的存储库，可以获得脚本的绝对链接，但DAG似乎不接受它。

https://source.cloud.google.com/my-organisation/my-repo/+/master:my-script.py

有没有办法做到这一点？

Answer 1

所有引用的Python和Jar文件必须来自HDFS或HDFS兼容的文件系统，或者位于Google Cloud Storage 存储桶中。有关更多信息，请参阅Airflow documentation。

要创建云存储存储桶，您可以使用以下Make Bucket command

gsutil mb -l us-central1 gs://$DEVSHELL_PROJECT_ID-data

您可以执行以下操作：

如果您想使用云源存储库中的文件，首先需要克隆存储库，然后将数据内容复制到Google Cloud Storage

gsutil cp -r dir1/dir2 gs://$DEVSHELL_PROJECT_ID-data

我希望上面的信息对你有用。