使用Kubernetes在客户端模式下运行spark的两个独立映像，使用Apache-Spark 3.2.0的Python？

Question

我使用以下脚本部署了Apache Spark 3.2.0，该脚本从Python的分发文件夹中运行：

./bin/docker-image-tool.sh -r <repo> -t my-tag -p ./kubernetes/dockerfiles/spark/bindings/python/Dockerfile build

我可以使用Spark-Submit在K8s下创建一个容器。我的目标是运行为客户端模式与本地模式配置的spark-submit，并期望为executors创建额外的容器。

我创建的镜像是否允许这样做，或者我是否需要使用docker-image工具创建第二个镜像(没有-p选项)并在不同的容器中进行配置？

Answer 1

事实证明，如果您运行的是PySpark，那么只需要一个镜像。使用客户端模式，代码会为您生成executors和workers，一旦您创建spark-submit命令，它们就会运行。Spark版本2.4的重大改进！