Hadoop生态系统网络仪表板

Question

我正在努力寻找一个工具，它可以向我展示我的Hadoop生态系统的概况--状态、健康、运行任务等等。我尝试过谷歌，但没有找到任何东西。有什么有用的工具吗？

Answer 1

运行任务，映射节点状态/健康状态：

http://example.com:50030/jobtracker.jsp

HDFS健康状况和节点状态：

http://example.com:50070/dfshealth.jsp

将example.com替换为作业跟踪器/名称节点的IP或主机名。

如果这些端口不正确，请检查mapred-site.xml和hdfs-site.xml所定义的端口。

Answer 2

Cloudera提供了一个专用工具，它可以执行您所描述的以及更多称为Cloudera经理的操作。它不是F/OSS，但它们有一个免费版本，允许您在有限数量的节点上运行。这意味着它是一个完整的生命周期产品，因此它可能对您所需要的东西有点过分。

完全公开:我自己从来没有用过。我们在我的公司考虑过，但最终没有使用它。

Answer 3

另一种选择是安巴里项目。它目前在Apache上处于孵化状态，但我相信霍顿工厂是它的主要驱动因素之一。它主要是一个供应和监视框架。您可以在Hortonworks的网站上看到示例。他们写了一篇描述如何设置它的博文。

如果您正在寻找一个“更漂亮”的界面到工作跟踪器或namenode，云彩有Hadoop用户环境(色调)，它提供了您想要的一些功能。不过，它在很大程度上是面向非管理员的。