纱线Terasort对于7和14个工作节点具有相同的执行时间。

Question

我有一个由15个节点(1个主节点和14个从节点)组成的hadoop集群，其复制因子为3。我使用以下命令在纱线中运行了TeraSort 10 15：

yarn jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar terasort /terasort-input /terasort-output

在完成了对14个功能节点的操作之后，我开始一次分解一个节点，然后再次运行TeraSort，查看执行时间是如何变化的。我注意到，当我缩小规模时，执行时间实际上并没有太大的变化，所以即使在7个从节点上，我也有类似的执行时间。

JobHistory回顾这个值：

14奴隶：经过:32分钟，12秒；平均地图时间:4分钟，4秒；平均洗牌时间:14分钟，56秒；平均合并时间:3min，50秒；平均减少时间:11分钟，35秒；

11奴隶：经过:30分钟，6秒；平均地图时间:5分钟，2秒；平均洗牌时间:6分钟，9秒；平均合并时间:8分钟，52秒；平均减少时间:11分钟，39秒；

8奴隶：经过:32分钟，15秒；平均地图时间:4分钟，29秒；平均洗牌时间:13分钟，48秒；平均合并时间:4分钟，20秒；平均减少时间:11分钟，11秒；

7奴隶：经过:30分钟，6秒；平均地图时间:4分钟，28秒；平均洗牌时间:7分钟，26秒；平均合并时间:8min，26秒；平均减少时间:11分钟，24秒；

问题：

• 为什么对于不同数量的工作节点，我几乎有相同的执行时间？
• 如何充分利用Hadoop集群，使作业在14个工作节点上比7个节点运行得更快？

Answer 1

1.请使用较大的数据大小再次运行Terasort。

2.将块体变大，例如256米。您设置了多少个精简任务？如果太小，就把它放大一点。

Answer 2

0)如果您没有指定映射器和还原器的#，那么默认情况下，您有两个映射器和一个减缩器。使用-D mapred.map.tasks -D mapred.reduce.tasks

1)数据集太小，所以发生奇怪行为的结果很低。

2)检查你的IO。如果每个节点有一个旋转磁盘，这不是一个好主意。