但该集群并不在Hadoop上运行,它使用的是Sun的gridengine,目前由Univa维护。这是有历史原因的。实际上,目前的基础设施已经发展了很多年。 取而代之的是安装了gridengine,它允许您以shell脚本的形式提交作业,以便在集群中有空闲资源时执行。在某种程度上,gridengine就像YARN,但仅限于shell脚本和交互式shell。 另一方面,机器学习者有很多潜力,可以开创新的可能性,以互动的方式处理大量数据,而像gridengine这样的系统根本不可能实现。 当这两个领域趋于一致时,必须做一些工作来提供正确的机制和抽象集。
它提供了GridEngine、SLURM、LSF、PBS、Moab和HTCondor批处理调度程序以及Kubernetes、Amazon AWS、Google Cloud和Microsoft Azure
参考资料: http://www.it.uu.se/datordrift/maskinpark/albireo/gridengine.html#manuals https://www.jianshu.com
把头节点的/opt/gridengine拷贝到计算节点,运行./install_execd,默认安装即可。 6.