中型Hadoop /星火集群管理

Question

请告诉我，这个问题是否更适合于不同的通道，但我想知道推荐的工具是什么，以便能够在大量远程服务器上安装、配置和部署hadoop/spark。我已经熟悉了如何安装所有的软件，但我正在努力确定我应该开始使用什么，这将使我能够轻松地跨大量服务器部署。我已经开始研究配置管理工具了。厨师，木偶，ansible)，但想知道什么是最好的和最友好的用户开始选择是在那里。我也不想使用火花-EC2。我应该创建本地脚本来遍历包含IP的主机文件吗？我应该用pssh吗？pscp？等等，我只想能够使用尽可能多的服务器，并安装所有的软件。

Answer 1

如果你有一些脚本语言的经验，那么你可以去找厨师。这些菜谱已经可以用于集群的部署和配置，而且它很容易开始。

如果你想自己做这件事，那么你可以使用，它在远程服务器上运行脚本。您可以在那里构建命令，并将它们传递给sshx可爱API以部署集群。

Answer 2

看看阿帕奇·安巴里。它是一个很好的工具，用于集中管理信任、添加新节点、监视集群等。这将是您的最佳选择。