如何部署星火，使其资源利用率最高

Question

我有10个服务器(16G内存，8个核心)，想要部署Hadoop和Spark，您能告诉我哪一个计划可以最大限度地利用资源吗？

1. 立即部署；
2. 安装Openstack，将环境部署到虚拟机中；
3. 使用码头，如码头上的火花；

我知道与使用场景相关的资源利用率，实际上我想知道上述三种计划的优缺点。

谢谢。

Answer 1

为了获得最高的资源利用率，为Spark和Hadoop部署一个单一的资源管理器将是最好的方法。这方面有两种选择：

• 使用纱线部署Hadoop集群，因为Spark可以在成纱上运行。
• 部署Apache集群，并在其上运行Hadoop作业和星火。

隔离星型集群和Hadoop集群没有提供任何优势，并将导致更高的开销和较低的资源利用率。