Cloudera CDH Mac

Question

我注册的班级将使用Cloudera和Hadoop等。

该类的当前设置涉及到使用带有VirtualBox的虚拟机。

我只是想知道是否有一个更快，更有效的程序实现，我可以使用。这个程序能不能以某种方式安装在我的本地环境中呢？

(我使用的是2017年Macbook Pro和OS High Sierra)

Answer 1

您可以在所谓的伪分布式模式下将Hadoop、Spark、Hive、Pig安装在Mac Os中。它是本地机器上的一个安装，其中“集群”的每个节点都是Java虚拟机。首先是Hadoop安装，您可以遵循本教程：

https://www.quickprogrammingtips.com/big-data/how-to-install-hadoop-on-mac-os-x-el-capitan.html

在mac中安装Hadoop生态系统的其他部分有很多教程，至少对于El Capitan是这样。(我在塞拉高地跟踪他们没有遇到任何问题)。

您在Cloudera或MapR或其他沙箱中的Hadoop体验完全不同。非常平滑。您可以运行Hue并从那里开始编码:您有Impala ( Mac尚未提供)、Hive、Sqoop、Pig编辑器和许多其他已经为您设置的HDFS服务。一切都准备好被利用了。您只需从Cloudera管理器启动所有服务，在VM中打开Firefox浏览器，就可以开始分析数据。就学习而言，我认为这是你在这个阶段可能关心的，这是最有效的方法。

安装Cloudera快速启动的一个更有效的方法是使用Docker。首先从以下站点下载Mac社区版：

https://store.docker.com/editions/community/docker-ce-desktop-mac

然后从终端类型：

docker pull cloudera/quickstart

并按以下位置进行安装：

https://store.docker.com/community/images/cloudera/quickstart

您将看到它的运行效率更高，并且比VM更稳定。

从计算意义上讲，云服务带来了效率。您可以使用AWS、Azure、GCP或其他云提供商，并在第二阶段试验Hadoop的真正威力。有许多免费尝试云服务的提议，但它们在时间或免费学分(以美元计算)方面是有限的。因此，我建议在获得了最重要的技能之后去那里。

Answer 2

这个程序能不能以某种方式安装在我的本地环境中呢？

是的，Hadoop可以安装在您的Mac上。不，CDH对macOS没有DMG。

这和运行CDH一样吗？没有，没有Cloudera经理，色调，蜂巢，HBase，Sqoop，猪，火花等。

每个额外的工具都需要单独安装。

“更快、更高效”的替代方案是使用Mac外部的专用CDH集群。