Sparklyr未连接到数据库

Question

我正在尝试使用sparklyr或SparkR连接到数据库。

现在我正在尝试使用sparklyr。

这就是我安装sparklyr的方法

install.packages("sparklyr")

sparklyr::spark_install()  #installing spark

sprk <- spark_connect(master = "local")    # this code works perfectly and it connects to the spark, and i can work further

sc <- spark_connect(method = "databricks")  # this is not working 

Error i get is: Error in value[[3L]](cond) : 
                Failed to start sparklyr backend: there is no package called ‘SparkR’

当我使用sparklyr...how来解决这个问题时，为什么我需要有SparkR？

Answer 1

您可以按照https://docs.microsoft.com/en-us/azure/databricks/dev-tools/databricks-connect的说明在本地安装和配置databricks-connect。遵循R/R RStudio session中的代码，使用sparkR.session()启动spark会话，使用sc <- spark_connect(master = "local")连接到spark，然后就可以使用sparklyr了。但是，与在databricks笔记本中运行sparklyr相比，当您从远程位置连接到databricks时，不支持某些sparklyr函数。