基于硬件的apache火花优化设置
基于硬件的apache火花优化设置
提问于 2016-06-13 17:32:36
是否有将硬件系统、cpu核及其相关内存的数量映射/转换为: executor-memory executor-核num-executor的火花提交可调性应用程序只与这些可调性有关，但我正在寻找一个“基本经验规则”Apache submit正在以集群模式运行在带有hdfs的纱线上。并不是火花/hadoop纱线集群中的所有硬件系统都有相同数量的cpu核或RAM。
回答 1
Stack Overflow用户
发布于 2016-06-14 21:04:36
没有经验法则，但在考虑之后
- 堆外存储器
- 运行的应用程序和其他hadoop dameon的数目
- 资源管理器需要
- HDFS IO
等。
您可以派生出合适的配置。请检查一下这个url
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/37795873
复制相关文章
相似问题
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号