我有一个10节点集群,8个DN(256 GB,48核)和2个NN。我有一个spark sql作业正在提交给yarn集群。下面是我用于spark-submit的参数。--num-executors 8\ --executor-cores 50 \ --driver-memory 20G \ --executor-memory 60G \正如上面的executor-memory是60 UI,但当我检查Spark UI显示为31 UI时。

1)谁能解释一下为什么它显示的是31 me而不是60 me。2)还有助于为上述参数设置最佳值。
https://stackoverflow.com/questions/44583042
复制相似问题