在hadoop中连接vs分布式缓存

Question

在hadoop中连接和分布式缓存的区别是什么？我真的混淆了地图端连接和约简端连接，它的工作原理。在mapreduce作业中处理数据时，分布式缓存是如何不同的。请与大家分享。你好，拉维

Answer 1

假设您有两个具有以下记录的数据文件：

word ->频率

在两个文件中都可以出现相同的单词。您的任务是合并这些文件，计算每个术语的总频率，并生成聚合文件。

地图侧连接.

当连接两边的数据已经由键预置时，将非常有用。在这种情况下，它是两个具有线性复杂性的流的简单合并。在我们的例子中，我们的词频数据必须按两个文件中的单词按字母顺序排序。

优点:工作与几乎无限的输入数据(不需要适应内存)。不需要减速器，所以效率很高。

缺点:要求对输入数据进行预排序(例如，由于以前的映射/减少作业)。

减少连接.

当我们的文件还没有排序，而且它们太大，无法在内存中使用时，就会很有用。因此，您必须使用分布式排序和还原器合并它们。

优点:工作与几乎无限的输入数据(不需要适应内存)。

缺点:需要缩减阶段

分布式缓存.

当我们输入的字频文件没有排序时很有用，两个文件中有一个足够小，可以容纳在内存中。在本例中，您可以将其用作分布式缓存，并将其作为哈希表Map加载到内存中。每个映射器都会将最大的输入文件作为键值对进行流，并从哈希映射中查找较小文件的值。

优点:基于最大输入集大小的高效线性复杂度。不需要减速器。

缺点:需要一个输入才能进入内存。