混洗和排序阶段是映射还是减少阶段的一部分？

Question

我的理解是，在mapreduce编程模型中，map和reduce是两个阶段。完成映射阶段后，将生成中间(键、值)值，并将这些值传递给缩减程序。

我怀疑在map()阶段之后，混洗和排序将会到来。所以，我觉得shuffle和sort是reducer阶段的一部分，是真的吗？

如果是这种情况，combiner()是如何工作的？

Answer 1

事实上，map/reduce有三个阶段：

1. map
2. shuffle和sort
3. reduce

Shuffle & sort是一个仅限框架的阶段(作为开发人员，您只需编写map和reduce函数)，它允许map任务和reduce阶段之间的通信。

合并器是一个可选的阶段，可以在reduce阶段之前使用它来汇总map阶段的输出，因此reduce阶段的工作将会更少。点击此处查看更多信息：http://www.tutorialspoint.com/map_reduce/map_reduce_combiners.htm

另请参阅map/reduce架构的概述：https://developer.yahoo.com/hadoop/tutorial/module4.html#dataflow