Spark集群模式比本地模式慢。
Spark集群模式比本地模式慢。
提问于 2016-03-22 19:49:07
我通过使用本地模式和mesos集群模式提交相同的jar来运行。并且发现在一些完全相同的阶段，本地模式只需要几毫秒就能完成，但是集群模式需要几秒！
列出的就是一个例子:第659阶段
本地模式: 659流作业来自输出操作1，批处理时间17:45:50映射在KafkaHelper.scala:35 +details 2016/03/22 17:46:31 11 ms
mesos集群模式: 659流作业来自输出操作1，批处理时间18:01:20映射在KafkaHelper.scala:35 +details 2016/03/22 18:09:33 3 s
我从spark中发现，mesos集群模式将持续4秒来完成foreachRDD作业，为什么呢？任何提交命令选项都可以帮助这一点吗？
提前表示感谢！
回答 1
Stack Overflow用户
回答已采纳
发布于 2016-03-23 08:12:40
这种行为取决于多种因素。您没有指定在哪种集群模式下运行的作业类型，以及使用哪种设置。如果Spark没有安装在从服务器上，您将看到一个开销，因为发行版需要下载等等。
此外，您正在使用的jars需要分发给执行者，这也需要一些时间来启动。
如前所述，这都取决于如何在Mesos上运行。
看见
- http://spark.apache.org/docs/latest/running-on-mesos.html
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/36163843
复制相关文章
相似问题
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号