使用外部H2O后端运行Sparkling-Water

Question

我正在遵循here的外部后端运行闪亮的水的步骤。我正在使用spark 1.4.1、sparkling-water-1.4.16，我已经构建了扩展的h2o jar，并导出了H2O_ORIGINAL_JAR和H2O_EXTENDED_JAR系统变量。我用下面的命令启动h2o后端

java -jar $H2O_EXTENDED_JAR -md5skip -name test

但是当我开始用汽水

./bin/sparkling-shell

并在其中尝试使用以下命令获取H2OConf

import org.apache.spark.h2o._
val conf = new H2OConf(sc).setExternalClusterMode().useManualClusterStart().setCloudName("test”)
val hc = H2OContext.getOrCreate(sc, conf)

它在第二行失败，因为

<console>:24: error: trait H2OConf is abstract; cannot be instantiated
   val conf = new H2OConf(sc).setExternalClusterMode().useManualClusterStart().setCloudName("test")
              ^

我已经尝试将新构建的带有--jars参数的扩展h2o jar添加到sparkling或独立spark中，但没有任何进展。有谁有什么提示吗？

Answer 1

早于2.0的Spark版本不支持此功能。

Answer 2

下载最新版本的sparkling jar，并在启动spark-shell时将其添加到：

./bin/sparkling-shell --master yarn-client --jars "<path to the jar located>"

然后通过设置扩展的h2o驱动程序来运行代码：

import org.apache.spark.h2o._

val conf = new H2OConf(spark).setExternalClusterMode().useAutoClusterStart().setH2ODriverPath("//home//xyz//sparkling-water-2.2.5/bin//h2odriver-sw2.2.5-hdp2.6-extended.jar").setNumOfExternalH2ONodes(2).setMapperXmx("6G")

val hc = H2OContext.getOrCreate(spark, conf)