如何将文件内容分发到多个节点？

Question

我需要在网络上分发文件的内容(最多5GB)，这样文件的每个分布式节点(XML或简单文件)都不会复制数据并相互同步。

更重要的是，可能有1000多个大文件，需要在分发过程中进行。

我可以使用Hadoop来存储大文件，并使用集群节点来存储分布式数据吗？

Answer 1

是的，这正是HDFS的用途。如果不想要任何复制，可以轻松地控制复制因子，但是通常建议使用2+的复制因子来允许某些高可用性。