使用Python的星星之火K8s资源暂存服务器

Question

我一直在跟踪在库伯奈特斯博士上运行星火上的火花K8s v2.2.0-kubernetes-0.5.0，Kubernetes v1.9.0和Minikubev0.25.0。

我能够使用以下命令成功地运行Python作业：

bin/spark-submit \
  --deploy-mode cluster \
  --master k8s://https://10.128.0.4:8443 \
  --kubernetes-namespace default \
  --conf spark.executor.instances=1 \
  --conf spark.app.name=spark-pi \
  --conf spark.kubernetes.driver.docker.image=kubespark/spark-driver-py:v2.2.0-kubernetes-0.5.0 \
  --conf spark.kubernetes.executor.docker.image=kubespark/spark-executor-py:v2.2.0-kubernetes-0.5.0 \
  --jars local:///opt/spark/examples/jars/spark-examples_2.11-2.2.0-k8s-0.5.0.jar \
  local:///opt/spark/examples/src/main/python/pi.py 10

我能够使用以下命令成功地运行具有本地依赖项的Java作业(在设置了资源暂存服务器之后)：

bin/spark-submit \
  --deploy-mode cluster \
  --class org.apache.spark.examples.SparkPi \
  --master k8s://https://10.128.0.4:8443 \
  --kubernetes-namespace default \
  --conf spark.executor.instances=1 \
  --conf spark.app.name=spark-pi \
  --conf spark.kubernetes.driver.docker.image=kubespark/spark-driver:v2.2.0-kubernetes-0.5.0 \
  --conf spark.kubernetes.executor.docker.image=kubespark/spark-executor:v2.2.0-kubernetes-0.5.0 \
  --conf spark.kubernetes.initcontainer.docker.image=kubespark/spark-init:v2.2.0-kubernetes-0.5.0 \
  --conf spark.kubernetes.resourceStagingServer.uri=http://10.128.0.4:31000 \
  ./examples/jars/spark-examples_2.11-2.2.0-k8s-0.5.0.jar

可以使用本地依赖项运行Python作业吗？我试过这个命令，但失败了：

bin/spark-submit \
  --deploy-mode cluster \
  --master k8s://https://10.128.0.4:8443 \
  --kubernetes-namespace default \
  --conf spark.executor.instances=1 \
  --conf spark.app.name=spark-pi \
  --conf spark.kubernetes.driver.docker.image=kubespark/spark-driver-py:v2.2.0-kubernetes-0.5.0 \
  --conf spark.kubernetes.executor.docker.image=kubespark/spark-executor-py:v2.2.0-kubernetes-0.5.0 \
  --conf spark.kubernetes.initcontainer.docker.image=kubespark/spark-init:v2.2.0-kubernetes-0.5.0 \
  --conf spark.kubernetes.resourceStagingServer.uri=http://10.128.0.4:31000 \
  ./examples/src/main/python/pi.py 10

我在司机的日志中得到了这个错误：

Error: Could not find or load main class .opt.spark.jars.RoaringBitmap-0.5.11.jar

事件日志中的以下错误：

MountVolume.SetUp failed for volume "spark-init-properties" : configmaps "spark-pi-1518224354203-init-config" not found
...
MountVolume.SetUp failed for volume "spark-init-secret" : secrets "spark-pi-1518224354203-init-secret" not found

Answer 1

修复方法是通过--jars将示例jar作为依赖项提供

bin/spark-submit \
  --deploy-mode cluster \
  --master k8s://https://10.128.0.4:8443 \
  --kubernetes-namespace default \
  --conf spark.executor.instances=1 \
  --conf spark.app.name=spark-pi \
  --conf spark.kubernetes.driver.docker.image=kubespark/spark-driver-py:v2.2.0-kubernetes-0.5.0 \
  --conf spark.kubernetes.executor.docker.image=kubespark/spark-executor-py:v2.2.0-kubernetes-0.5.0 \
  --conf spark.kubernetes.initcontainer.docker.image=kubespark/spark-init:v2.2.0-kubernetes-0.5.0 \
  --conf spark.kubernetes.resourceStagingServer.uri=http://10.128.0.4:31000 \
  --jars local:///opt/spark/examples/jars/spark-examples_2.11-2.2.0-k8s-0.5.0.jar \
  ./examples/src/main/python/pi.py 10

我不知道为什么要这样做(RoaringBitmap-0.5.11.jar应该存在于/opt/spark/jars中，在任何情况下都应该添加到类路径中)，但这现在解决了我的问题。