闪烁+闪烁:连接到集群时出错

Question

有一段时间，我使用sparklyr包连接到公司Hadoop集群，使用以下代码：

library(sparklyr)

Sys.setenv(SPARK_HOME="/opt/spark/")
Sys.setenv(HADOOP_CONF_DIR="/etc/hadoop/conf.cloudera.yarn")
Sys.setenv(JAVA_HOME="/usr/lib/jvm/jre")

system('kinit -k -t user.keytab user@xyz')

sc <- spark_connect(master="yarn",
                config = list(
                  default = list(
                    spark.submit.deployMode= "client",
                    spark.yarn.keytab= "user.keytab",
                    spark.yarn.principal= "user@xyz",
                    spark.executor.instances= 20, 
                    spark.executor.memory= "4G",
                    spark.executor.cores= 4,
                    spark.driver.memory= "8G")))

而且一切都很好，但是当我试图使用类似的代码添加rsparkling包时：

library(h2o)
library(rsparkling)
library(sparklyr)

options(rsparkling.sparklingwater.version = '2.0')

Sys.setenv(SPARK_HOME="/opt/spark/")
Sys.setenv(HADOOP_CONF_DIR="/etc/hadoop/conf.cloudera.yarn")
Sys.setenv(JAVA_HOME="/usr/lib/jvm/jre")

system('kinit -k -t user.keytab user@xyz')

sc <- spark_connect(master="yarn",
                config = list(
                  default = list(
                    spark.submit.deployMode= "client",
                    spark.yarn.keytab= "user.keytab",
                    spark.yarn.principal= "user@xyz",
                    spark.executor.instances= 20, 
                    spark.executor.memory= "4G",
                    spark.executor.cores= 4,
                    spark.driver.memory= "8G")))

我搞错了：

生效错误(代码)： 当连接sessionid的sparklyr到端口(8880)时失败(9819)：Sparklyr网关在60秒路径后检索端口信息时没有响应: /opt/spark-2.0.0-bin-hadoop2.6/bin/spark-submit参数：-class，sparklyr.Backend，--包，‘ai.h2o:汽水-core_2.11:2.0’，‘ai.h2o:汽水-ml_2.11:2.0’，‘ai.h2o:汽水-水-repl_2.11:2.0’，'/usr/lib64/R/library/sparklyr/java/sparklyr-2.0-2.11.jar'，8880,9819 -输出日志 常春藤默认缓存设置为:/opt/user/user/. Ivy 2/缓存存储在以下文件中的包的jars :/opt/user/.user/.Ivy 2/jars :：core设置:：url = jar:file:/opt/spark-2.0.0-bin-hadoop2.6/jars/ivy-2.4.0.jar!/org/apache/ivy/core/settings/ivysettings.xml ai.h2o#闪亮-water-core_2.11作为依赖关系ai.h2o#闪亮-水-ml_2.11添加为依赖ai.h2o#闪烁-水-repl_2.11添加为依赖:：解决依赖关系:：org.apache.sight#火花-提交-父；1.0conf:默认 --错误日志 此外:警告消息: 1:在查找<- FALSE的if (nchar(config[e]) == 0)中:条件的长度为1，只使用第一个元素:在查找<- FALSE的if (nchar(config[e]) == 0)中:条件的长度为1，只使用第一个元素

我是spark和clusters的新手，现在不太确定该做什么。任何帮助都将不胜感激。我的第一个想法是在jar端丢失了sparkling water的sparkling water文件，对吗？

Answer 1

您需要使用汽水的确切版本号：

options(rsparkling.sparklingwater.version = '2.0.5')

或者您可以直接从http://h2o.ai/download下载闪烁版本的二进制版本，解压缩它并通过以下方式替换上面的语句：

options(rsparkling.sparklingwater.location = "/tmp/sparkling-water-assembly_2.11-2.0.99999-SNAPSHOT-all.jar")