"SPARK-SUBMIT“中的部署模式

Question

在SPARK-SUBMIT中，"yarn“、"yarn-cluster”、"yarn-client“部署模式有什么区别？

./bin/spark-submit \
  --class org.apache.spark.examples.SparkPi \
  --master yarn-cluster \  # can also be `yarn-client` for client mode
  --executor-memory 20G \
  --num-executors 50 \
  /path/to/examples.jar \
  1000

https://spark.apache.org/docs/1.1.0/submitting-applications.html

Answer 1

对于Spark on YARN，可以指定yarn-client或yarn-cluster。Yarn-client在与spark submit相同的JVM中运行驱动程序，而yarn-cluster在NodeManager的一个容器中运行Spark driver。

从文档中可以看到：https://spark.apache.org/docs/1.1.0/running-on-yarn.html有两种部署模式，可用于在YARN上启动Spark应用程序。在YARN集群模式下，Spark驱动程序运行在应用程序主进程中，该应用程序主进程由集群上的YARN管理，客户端可以在启动应用程序后离开。在YARN客户端模式中，驱动程序在客户端进程中运行，而应用程序主机仅用于向YARN请求资源。