Sparklyr/Sparklyr通过纱线连接

Question

我是新来的火花和火花nlp。已经得到一个本地连接，没有问题，测试数据正在保存和读取等等。今天，当我加载真实的数据，即一批文本数据时，错误就开始了。从其他的讨论看来，这似乎是由于试图通过一个纱线蜂箱连接，即使我把它设置为本地。我尝试过各种信任和重置路径在我的终端，等等。现在我无法得到一个本地连接。

星星之火似乎应该驻留在usr/lib/spark中。但事实并非如此。它位于用户/user_name/spark中。我已经在命令行中安装了apache，它驻留在usr/lib/但是在'apache‘下面，所以没有被引用。

在R Studio中运行

1. Sys.getenv("SPARK_HOME")仍然显示‘user/user_name/spark’作为位置。

1. 通过R

重置SPARK_HOME位置

home <- "/usr/local/Cellar/apache-spark"
sc <- spark_connect(master = "yarn-client", spark_home = home, version = "3.3.0")

返回以下错误：

Error in start_shell(master = master, spark_home = spark_home, spark_version = version,  : 
  Failed to find 'spark2-submit' or 'spark-submit' under '/usr/local/Cellar/apache-spark', please verify SPARK_HOME.

1. 将SPARK_HOME设置为它最初安装在“用户”文件夹中的位置，但不会更改此错误。

我不知道我应该安装一些依赖关系，以启用纱线蜂巢或怎么办？我试过这样的吐露：

conf <- spark_config()

conf$spark.driver.cores <- 2
conf$spark.driver.memory <- "3G"
conf$spark.executor.cores <- 2
conf$spark.executor.memory <- "3G"
conf$spark.executor.instances <- 5
#conf$sparklyr.log.console <- TRUE
conf$sparklyr.verbose <- TRUE

sc <- spark_connect(
  master = "yarn",
  version = "2.4.3",
  config = conf,
  spark_home = "usr/lib/spark"
)

来回更改spark_home。以同样的方式得到这个错误：

Error in start_shell(master = master, spark_home = spark_home, spark_version = version,  : 
  SPARK_HOME directory 'usr/lib/spark' not found

apache_spark的终端桌面安装与spark_install()之间是否通过R进行交互？

为什么它不允许我继续在本地工作，或者文本数据需要一个蜂箱？

spark_home <- spark_home_dir()

什么都不回！我很困惑

Answer 1

您可以尝试将R环境变量更改为SPARK_HOME，在R会话中运行以下命令：Sys.setenv(SPARK_HOME = /path/where/you/installed/spark)