首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >Spark-submit executor内存问题

Spark-submit executor内存问题
EN

Stack Overflow用户
提问于 2017-06-16 15:12:49
回答 0查看 2.7K关注 0票数 1

我有一个10节点集群,8个DN(256 GB,48核)和2个NN。我有一个spark sql作业正在提交给yarn集群。下面是我用于spark-submit的参数。--num-executors 8\ --executor-cores 50 \ --driver-memory 20G \ --executor-memory 60G \正如上面的executor-memory是60 UI,但当我检查Spark UI显示为31 UI时。

1)谁能解释一下为什么它显示的是31 me而不是60 me。2)还有助于为上述参数设置最佳值。

EN

回答

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/44583042

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档