首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >Hadoop中的Terasort调度器

Hadoop中的Terasort调度器
EN

Stack Overflow用户
提问于 2013-12-18 03:07:27
回答 1查看 122关注 0票数 1

在Hadoop的Terasort实现中,有一个名为TeraScheduler的调度程序。在阅读了代码之后,调度程序基本上完成了以下操作:

  1. 选择分裂次数最少的主机。
  2. 对于这个主机,用最小的主机选择固定数目的拆分,并将它们“引脚”在此主机上执行。“未选择的”分裂将从该主机中移除。
  3. 对所有主机重复。

我不明白这个时间表背后的理由。它如何比默认调度程序执行得更好(无论如何,默认调度程序是什么)?有没有解释它的好处的文件?

EN

回答 1

Stack Overflow用户

发布于 2014-01-11 19:37:25

其好处有两方面:(1)使排序尽可能本地化。(2)在机器上平均分配工作。

两家公司的目标都是提高业绩。

票数 2
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/20648990

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档