将星火红连接器添加为依赖项的问题

Question

我正在尝试使用由RedisLabs提供的火花红连接器.我可以在本地环境中尝试，下载必要的jars文件。

但是，当我试图在EMR中执行它时，我需要将它添加到我的built.sbt文件中，如下所示：

libraryDependencies += "redis.clients" % "jedis" % "2.9.0"
libraryDependencies += "org.apache.commons" % "commons-pool2" % "2.5.0"
libraryDependencies += "RedisLabs" % "spark-redis" % "0.3.2"

但是我收到一个错误，说不能解决那个依赖。找不到星星点点的图书馆。

还有别的办法吗？有什么建议吗？

Answer 1

我能够编译将火花流添加到依赖项中，并包括外部URL中火花流的依赖性：

libraryDependencies += "org.apache.spark" %% "spark-streaming" % "2.3.0" % "provided"

libraryDependencies += "redis.clients" % "jedis" % "2.9.0"
libraryDependencies += "org.apache.commons" % "commons-pool2" % "2.5.0"

libraryDependencies += "RedisLabs" % "spark-redis" % "0.3.2" from "https://dl.bintray.com/spark-packages/maven/RedisLabs/spark-redis/0.3.2/spark-redis-0.3.2.jar"