在spark集群中配置主节点

Question

提前道歉，因为我是新来的火花。我已经在独立模式下创建了一个包含4个worker的spark集群，在成功配置worker属性之后，我想知道如何配置master属性。

我正在编写一个应用程序，并使用SparkSession.builder将其连接到集群(我不想使用spark- submit提交它)。

我知道工作进程可以在conf/spark-env.sh文件中配置，并且具有可以设置的参数，例如'SPARK_WORKER_MEMORY‘和'SPARK_WORKER_CORES’

我的问题是:如何配置主服务器的属性？因为此文件中没有'SPARK_MASTER_CORES‘或'SPARK_MASTER_MEMORY’。

我想过在spark-defaults.conf文件中设置它，但是它似乎只用于spark-submit。

我考虑过使用SparkConf().set("spark.driver.cores", "XX")在应用程序中设置它，但是这只指定了该应用程序要使用的核心数量。

任何帮助都将不胜感激。

谢谢。

Answer 1

设置Spark Master节点(Driver)和spark worker节点配置的三种方式。我将展示设置主节点内存的示例。其他设置可在here 中找到

1-通过SpackConf类编程。

示例：

new SparkConf().set("spark.driver.memory","8g")

2-使用Spark- submit :确保在执行spark提交时，不要在代码中设置相同的配置(在编程上类似于1)。如果您已经以编程方式配置了设置，则在spark-submit中提到的与(1)重叠的每个作业配置都将被忽略。

示例：

spark-submit --driver-memory 8g

3-通过Spark-defaults.conf:如果以上设置均未设置，则此设置将为默认值。

示例：

spark.driver.memory     8g