为什么我们在hadoop中使用分布式缓存？

Question

无论如何，在map reduce框架中有很多跨节点的文件传输。那么分布式缓存的使用如何提高性能呢？

Answer 1

DistributedCache是Map-Reduce框架提供的用于缓存应用程序所需文件的工具。一旦您为您的作业缓存了一个文件，hadoop框架将使它在您运行map/reduce任务的每个数据节点上(在文件系统中，而不是在内存中)可用。这些文件通过网络传输，通常是通过HDFS。对于非数据本地任务，它不会给网络带来比使用HDFS更多的压力。

Answer 2

1. 在程序运行时，不会有大量的文件传输。想法是最大限度地减少网络数据传输。这就是为什么计算被移到数据附近的原因。
2. 分布式缓存是所有map或reduce任务都需要的数据，而不像普通数据那样只需要部分数据(任务拆分)。这就是为什么它会分布到所有运行任务的节点上。