Maui+Torque集群中的Hadoop

Question

我有一个带有Torque+Maui的集群。是否可以在同一个集群中安装Hadoop？如果可能的话，这样做的利弊是什么？

Answer 1

这可能是一个很好的起点：

http://hadoop.apache.org/docs/r0.18.3/hod.html

我没有亲自处理过它，但我听说它没有得到积极的维护。

据我所见，Hadoop有自己的调度程序，它期望一组Hadoop节点在Hadoop文件系统所在的地方运行。这通常是一个持久的环境，因此您可以加载文件系统一次(大数据)，并将您的作业分配给一个恰好保存您需要的数据副本的节点。Torque倾向于从集群中获取任意一组空闲节点，将它们分配给作业，运行作业，然后为下一个作业清理环境。这与Hadoop的设计背道而驰。

我可以看到，如果有一个既能充分利用你已经拥有的系统，又能做到这两者的环境，那就更好了，但管理将是最糟糕的。