在Hadoop的减速器有什么好处？

Question

在以下场景中，我看不到Hadoop中的还原器的值：

• Map任务生成唯一的键(因为我们可以合并Map/Reduce功能)
• Map任务的输出大小太大(如果我们等待还原器开始工作，这将耗尽内存)
• 如果我们有任何不需要分组和排序键的功能

如果我错了，请纠正我。

如果有人能给我一个真正的例子，说明减速器的好处，什么时候使用，我会很感激的。

Answer 1

当您需要进行聚合/分组等操作时，还原剂是有益的(或必需的)。

还原器是用来对来自不同映射器的键的不同值进行分组。因此，对于不需要分组/聚合的用例，就没有必要使用还原器(您可以将其设置为Zero，这意味着仅映射作业)。

我能想到的一个快速用例是--你想把一个大文件随机分割成多个部分文件。在本例中，您将向纯地图作业提供大文件(例如100 G)。所有映射将读取一段文件并作为文件的一部分写入。