数据库+ H2O PySparkling: addURL Py4JException

Question

我是H2O和spark框架的新手，我在数据库中的H2O+Spark (sparkling-water) PySparkling上遇到了麻烦。我在1.5.2环境中的Databricks中运行了12个员工集群。

我采取的步骤如下：

1. 将H2O所需的必要库(6个、请求、表和未来)附加到我的集群中
2. 然后，我从闪闪发光的水-1.5.14.zip包中解压缩后，从sparkling-water-1.5.14/py/dist文件夹中取出了必要的sparkling-water-1.5.14/py/dist文件。
3. 我还将sparkling-water-assembly-1.5.14.jar附加到我的Databricks集群中
4. 我能够成功地import h2o。但是，当我在Databricks中的python中运行以下单元时，将得到以下异常： 在星火之上启动H2OContext from pysparkling import * hc = H2OContext(sc).start() import h2o

我收到了跟随错误

py4j.Py4JException: Method addURL([class java.net.URL]) does not exist

衷心感谢任何关于如何解决这一例外的指导。

Answer 1

这是一个PySparkling中的bug。固定物已经提交，但仍在等待下一个版本，可能会在1.5.15中引入。

在我们发布下一个版本之前，你可以试着自己从那个分支中构建闪闪发光的水，并使用它。