如何在databricks集群中安装与火花-redis相关的jars？

Question

我正试图连接到Azure缓存中的来自databricks的redis。

我已经在databricks中从maven包中安装了这个包com.redislabs:spark-redis:2.3.0。我已经用下面的代码创建了一个火花会话

SparkSession\
.builder\
.appName("myApp")\ 
.config("spark.redis.host", "my host")\ 
.config("spark.redis.port", "6379")\
.config("spark.redis.auth", "passwd")\ 
.getOrCreate()

但是当我运行df.write.format("org.apache.spark.sql.redis").option("table", "people").option("key.column", "name").save()时

我的错误越来越少。

*Py4JJavaError: An error occurred while calling o390.save.
: java.lang.ClassNotFoundException: 
Failed to find data source: org.apache.spark.sql.redis. Please find packages at
http://spark.apache.org/third-party-projects.html*

请您告诉我安装所有必要的库/jars以访问databricks中的redis的详细步骤。

我在星星雨python doc中看到了下面的代码，但是我不知道如何在databricks中运行它。

$ ./bin/pyspark --jars <path-to>/spark-redis-<version>-jar-with-dependencies.jar

另外，请让我知道什么是最新的火花-红色版本。

Answer 1

Redis有一个火花封装，可以下载并附加到集群中。

下面的记事本演示了如何在Azure中与Apache一起使用Redis。

有关详细信息，请参阅Azure数据库- Redis。