将SparkR连接到spark集群

Question

我有一个spark集群，运行在10台机器(1 - 10)上，主机在机器1上。所有这些都运行在CentOS 6.4上。

我正在尝试使用sparkR将jupyterhub安装(由于在CentOS上安装时出现问题而在ubuntu docker中运行)连接到集群，并获取spark上下文。

我使用的代码是

Sys.setenv(SPARK_HOME="/usr/local/spark-1.4.1-bin-hadoop2.4") 
library(SparkR)
sc <- sparkR.init(master="spark://<master-ip>:7077")

我得到的输出是

attaching package: ‘SparkR’
The following object is masked from ‘package:stats’:
filter
The following objects are masked from ‘package:base’:
intersect, sample, table
Launching java with spark-submit command spark-submit sparkr-shell/tmp/Rtmpzo6esw/backend_port29e74b83c7b3 Error in sparkR.init(master = "spark://10.10.5.51:7077"): JVM is not ready after 10 seconds

Error in sparkRSQL.init(sc): object 'sc' not found

我使用的是Spark 1.4.1。spark集群也在运行CDH 5。

jupyterhub安装可以通过pyspark连接到集群，我有使用pyspark的python笔记本。

谁能告诉我我哪里做错了？

Answer 1

我也有类似的问题，到处都在搜索，但没有解决方案。你能告诉我你所说的"jupyterhub安装(由于在CentOS上安装出现问题而在ubuntu docker中运行)“是什么意思吗？

我们在CentOS 6.4上也有4个集群。我的另一个问题是，如何使用像IPython或RStudio这样的集成开发环境来与这4个服务器进行交互？我是否使用我的笔记本电脑远程连接到这些服务器(如果是，则如何连接？)如果不是，那么另一种解决方案是什么？

现在回答你的问题，我可以试一试。我认为你必须使用-- here -cluster选项，我希望这能帮助你解决这个问题。

干杯，阿希什