Spark-submit命令的内存参数

Question

如何计算火花提交命令的最佳内存设置？

我将从Oracle中获取4.5GB数据，并执行一些转换，比如使用Hive表连接并将其写回Oracle。我的问题是如何找到具有最佳内存参数的火花提交命令。

spark-submit --master yarn-cluster --driver-cores 2 \
--driver-memory 2G --num-executors 10 \
--executor-cores 5 --executor-memory 2G \
--class com.spark.sql.jdbc.SparkDFtoOracle2 \
Spark-hive-sql-Dataframe-0.0.1-SNAPSHOT-jar-with-dependencies.jar

如何计算，驱动程序内存应该是多少，需要多少驱动程序/执行器内存，需要多少内核等等？

Answer 1

一般来说，这是一个复杂的问题，没有答案。最优选择不仅取决于您的数据特性和操作类型，还取决于系统行为(星火优化器等)。一些有用的提示可以找到这里