无盘计算节点的hadoop (HDFS)

Question

我有一个小型集群，其中一个节点具有RAID存储，几个功能强大的无盘计算节点通过PXE引导。所有节点都通过InfiniBand (和1G以太网进行引导)连接。

我需要在这个集群上部署Hadoop。

请建议最佳配置，因为我理解默认配置意味着所有计算节点都具有自小存储，但在我的情况下(如果我有NFS共享)，它将通过网络复制太多。我已经找到了有关使用Hadoop和Lustre的资源，但是我不知道如何配置它。

Answer 1

您所描述的可能是可能的，但是--而不是使用Hadoop特性--您正试图找到一种绕过它们的方法。

1. 移动计算比移动数据便宜--数据局部性是Hadoop的基石之一，这就是为什么集群中的所有工作节点都是存储节点的原因。Hadoop试图在处理过的块所在的节点上尽可能多地进行计算，以避免网络拥塞。 https://developer.yahoo.com/hadoop/tutorial/module1.html 然后Hadoop框架使用来自分布式文件系统的知识，将这些过程安排在靠近数据/记录位置的位置。由于文件作为块分布在分布式文件系统中，因此在节点上运行的每个计算进程都对数据的子集进行操作。根据节点的位置选择节点操作的数据:大部分数据直接从本地磁盘读入CPU，减轻了网络带宽的压力，防止了不必要的网络传输。这种将计算移动到数据而不是将数据移动到计算中的策略允许Hadoop实现高数据局部性，从而获得高性能。
2. MapReduce倾向于生成大量临时文件，因此每个节点15 GB的存储空间是不够的。