spark.conf.set("spark.driver.maxResultSize"，'6g')没有更新默认值- PySpark

Question

我正在尝试将spark.driver.maxResultSize值更新为6g，但是该值没有得到更新。

spark.conf.set("spark.driver.maxResultSize", '6g')

注意:我正在Azure Databricks Notebook中运行此命令。

Answer 1

在Spark 2.0+中，你应该能够在运行时使用SparkSession.conf.set方法来设置一些配置选项，但这主要限于配置。由于您正在尝试更新spark.driver的conf，因此需要使用新的conf (如果您正在运行一个会话)来SparkSession.builder.getOrCreate新的会话。例如：

import pyspark

sc = spark.sparkContext
conf = pyspark.SparkConf().setAll([("spark.driver.maxResultSize", '6g')])

# here you stop the old spark context with old conf
sc.stop()
sc = pyspark.SparkContext(conf=conf)

或者，你可以只使用预定义的配置来getOrCreate新会话，例如，从YAML文件或代码。然后，您可以使用以下命令检查新的conf

sc.getConf().getAll()

Answer 2

您在单配额中使用了不正确的值声明，它应该是双引号。

spark.conf.set("spark.driver.maxResultSize", '6g') 

请将其更改为：

spark.conf.set("spark.driver.maxResultSize", "6g")

​

​

Answer 3

您可以尝试执行此操作，以查看当前驱动程序的最大大小

sqlContext.getConf("spark.driver.maxResultSize")

它将当前存储容量的最大值设置为20 GB

现在，增加:要增加maxResultSize，可以使用上面的命令。

但不建议增加到超过您的驱动程序容量

sqlContext.setConf("spark.driver.maxResultSize","30g")