GCP Dataproc基础Docker镜像

Question

谁知道我在哪里可以找到GCP的数据处理程序的docker镜像？我使用过dataproc集群，发现它们相当不错，但我想在本地开发，只有在我准备好处理大型工作时才将我的计算转移到云上。我已经找到了一些可以与pyspark一起工作的docker图像，但我想得到一些像GCP dataproc一样流畅的东西。

Answer 1

您可以在此cloud-dataproc Container Registry中找到基本映像，这些映像构建在Compute Image OS之上。在那里，您可以使用pull命令在本地获取Dataproc基本映像。

您可以使用spark文件夹下的基础图像。可以使用以下命令拉取所需的基本映像，并在Dataproc映像上运行spark作业。我使用Dataproc 2.0图像进行了实验，但在同一文件夹中可以找到其他版本。

# Pulling the required image
docker pull gcr.io/cloud-dataproc/spark/dataproc_2.0:preview-0.3

# Sample PySpark job
sudo docker run -v /home/sample-spark-app:/home/sample-spark-app d4e6c561de5b spark-submit --master local[4] /home/sample-spark-app/pi.py

# Sample Spark (Java API) job
sudo docker run -v /home/sample-spark-app:/home/sample-spark-app d4e6c561de5b spark-submit --class "JavaSparkPi" --master local[4] /home/sample-spark-app/target/simple-project-1.0.jar

如果你想在基础图像上使用其他功能，请查看gcr.io/cloud-dataproc下的其他spark图像。