H2O:无法通过python连接到h2o集群

Question

我有一个运行HDP 2.3.0的5节点hadoop集群。我在Yarn上设置了一个H2O集群，如这里所描述的那样。

运行以下命令

hadoop jar h2odriver_hdp2.2.jar water.hadoop.h2odriver -libjars ../h2o.jar -mapperXmx 512m -nodes 3 -output /user/hdfs/H2OTestClusterOutput

我得到以下输出

H2O cluster (3 nodes) is up
(Note: Use the -disown option to exit the driver after cluster formation)
(Press Ctrl-C to kill the cluster)
Blocking until the H2O cluster shuts down...

当我试图执行命令时

h2o.init(ip="10.113.57.98", port=54321)

这个进程仍然停留在试图使用ip:54321连接到web的stage.On上，浏览器试图无休止地加载H2O管理页面，但没有显示任何内容。

在强制终止init进程时，我得到以下错误

No instance found at ip and port: 10.113.57.98:54321. Trying to start local jar...

但是，如果我尝试在没有设置H2O集群的情况下对python使用H2O，那么一切都会正常运行。

我以根用户的身份执行所有命令。根用户有权从/ user /hdfs hdfs目录中进行读写。

我不确定这是权限错误还是端口不可访问。

任何帮助都将不胜感激。

Answer 1

看起来您使用的是H2O2 (H2O经典版)。我建议将您的H2O升级到最新版本(H2O 3)。这里有一个专门针对HDP2.3的构建：http://www.h2o.ai/download/h2o/hadoop

运行H2O3也有点干净：

hadoop jar h2odriver.jar -nodes 1 -mapperXmx 6g -output hdfsOutputDirName

另外，每个节点512 is是很小的--您的用例是什么？我会给节点更多的记忆。