MapReduce与Divde、Conquer的关系

Question

Map Reduce是真正的分裂和征服吗？一些人简单地说是，另一些人说不是，这是一个流水线。

你对以下内容有什么看法：

它们密切相关，但其中一种可能是另一种的特例：

Map Reduce涉及一个reduce过程，这在分治中不是必须的。我们可以说Map Reduce是涉及reduce阶段的分治的一个特例。其他没有什么需要减少的分而治之的问题(例如，二进制搜索)是一个Map Reduce，它有一个虚拟的/平凡的reduce进程。

Answer 1

我不认为应该以这种方式理解它。是的，Mar-Reduce更多的是关于分离和聚合。可以编写一个map-reduce程序，它只运行一个映射器，并且直接输出到hdfs，而不需要Reducer。此外，映射器的数量取决于数据的大小，而不是数据本身。默认情况下，它每64MB (大约)有1个映射器，但可以设置为更大的数量，从而消除任何数据划分的问题。

这篇book很好地讨论了Map Reduce的历史，建议您更好地理解它。