IBM通用并行文件系统(GPFS)是否支持Map/Reduce作业？

Question

我正在研究各种分布式文件系统。

IBM通用并行文件系统(GPFS)本身是否支持Map/Reduce作业？无需使用第三方软件(如Hadoop Map/reduce)？

谢谢!

Answer 1

GPFS在Map/Reduce作为分布式计算范型发明之前几年就已经开发出来了。GPFS本身没有Map/Reduce功能。As主要针对HPC，存储节点不同于计算节点。

因此，Map/Reduce可以使用第三方软件(在所有Hadoop节点上安装GPFS )来完成，但由于所有数据都很遥远，因此效率不会很高。不能使用数据局部性。缓存或多或少是无用的，等等。

Answer 2

在2009年，GPFS被扩展到与Hadoop无缝协作，成为GPFS-Shared Nothing集群架构，该架构现在以GPFS文件放置优化器(FPO)的名义可用。如果应用程序需要，FPO允许完全控制所有副本的数据放置。当然，您可以轻松地进行配置以匹配HDFS分配。

请访问http://publib.boulder.ibm.com/infocenter/clresctr/vxrx/index.jsp?topic=%2Fcom.ibm.cluster.gpfs.v3r5.gpfs200.doc%2Fbl1adv_fposettings.htm查看详细信息