Hadoop分布式文件系统与分布式缓存

Question

在Hadoop中，b/w分布式文件系统和分布式缓存有什么不同？

Answer 1

分布式文件系统，如Hadoop分布式文件系统(HDFS)，是一种允许您将大型文件(或更多)存储在许多机器的硬盘中的体系结构。每台机器都持有该文件的一部分(称为块)。通常，每个块被多次复制(默认情况下是三次)，以防一些机器崩溃。在这种情况下，您可以通过从其他机器获取它们的副本来恢复丢失的块。您的PC也有一个文件系统，但它很可能不是分布式的。它是文件按层次结构构造和存储的地方。

分布式缓存是在作业运行时向所有机器提供相同输入文件的一种方法。这个/这些文件被加载到这些机器的内存中。例如，比如说，你有一个你不希望你的单词计数程序计数的停止词列表。然后，在每个MapReduce作业开始时，将这个秒针文件分发给所有映射任务，然后这些映射任务读取它，并跳过这些停止词的计数。这样，所有任务都共享一个公共输入文件。作业完成后，没有分布式缓存.

在许多方面，我的答案在技术上可能并不正确，但我希望它能给出一个正确的直觉。