文章/答案/技术大牛

发布

社区首页 >问答首页 >Hadoop:将slave设置为显式reducer？

问Hadoop:将slave设置为显式reducer？
EN

Stack Overflow用户

提问于 2011-06-03 15:12:14

回答 1查看 164关注 0票数 0

我们在debian + ubuntu上使用hadoop多节点设置和最新的稳定hadoop版本。是否可以将特定的从机设置为减速机？我只使用了一个reducer任务，我想把它分配给性能最好的从属任务。在atm中，我们有一个主站，他只是将任务分配给从站和5个从站，其中一个比其他的更强大。

提前感谢

回答已采纳

发布于 2011-06-04 04:58:56

通过在所有conf/mapred-site.xml文件(要减少的一个节点除外)中将mapred.tasktracker.reduce.tasks.maximum设置为0，在所有其他节点上禁用减速器插槽。

或者，您可以为公平调度器(请参阅this)编写一个自定义的LoadManager类，但这要做更多的工作。

票数 1

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/6224089

复制

相似问题

问Hadoop:将slave设置为显式reducer？EN