RStudio中的sparkR.init(master="local")中出现SparkR错误

Question

我已经将Spark发行版的SparkR包安装到了R库中。我可以调用以下命令，它似乎工作正常：library(SparkR)

但是，当我尝试使用以下代码获取Spark上下文时，

sc <- sparkR.init(master="local")

一段时间后，它将失败，并显示以下消息：

Error in sparkR.init(master = "local") :
   JVM is not ready after 10 seconds

我已经设置了JAVA_HOME，并且我有一个可以正常工作的RStudio，我可以在其中访问其他包，比如ggplot2。我不知道为什么它不工作，我甚至不知道在哪里调查这个问题。

Answer 1

我也遇到了同样的问题，而且我的spark-submit.cmd文件也不能从命令行执行。下面的步骤对我很管用

转到您的环境变量，并在系统变量中选择变量名称PATH。与其他值一起添加用分号分隔的c:/Windows/System32/。这使得我的spark-submit.cmd从命令行运行，并最终从Rstudio运行。

我已经意识到，只有在没有指定所有必需的路径值的情况下，我们才会遇到上述问题。确保在环境变量中指定了所有路径值(R、Rtools)。例如，我的资源工具路径是c:\Rtools\bin;c:\Rtools\gcc-4.6.3\bin

我希望这能帮到你。

Answer 2

尝试授予执行权限C:/sparkpath/bin/spark-submit.cmd。这对我很管用。

Answer 3

我收到了完全相同的错误消息。我的情况有点不同，因为我以前在RStudio中成功地运行过SparkR。但几天后，它就不再起作用了。

通过查看Shivaram Venkataraman和Prakash Ponshankaarchinnusamy之间的转换，我意识到这可能与运行权限有关。

https://issues.apache.org/jira/browse/SPARK-8603

所以我所做的，最终起作用的是，我再次将spark驱动器解压到我的C:/文件夹(以前它保存在D:/ tar.gz中)，SparkR起作用了！

screenshot of working RStudio