问火花作业调度
EN

Stack Overflow用户

提问于 2015-02-20 22:42:53

回答 1查看 82关注 0票数 2

场景: RDD中的大量对象集合，然后是昂贵的map函数，然后是collection。

映射函数需要不同的时间。

我假设分区最初是均匀分布在工人之间的。

如果一个工作人员碰巧得到了很多速度较慢的分区，那么其他节点会从过度工作的节点中获取分区吗？

回答已采纳

发布于 2015-06-22 16:14:19

启动投机来解决这个问题。你可以看看这段视频:从34分钟到56分钟的https://www.youtube.com/watch?v=HG2Yd-3r4-M，以深入理解它的工作原理。

希望这能帮上忙

勒奎克

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/28639504

复制

相似问题

问火花作业调度EN