SBT中Spark-Streaming和Twiter-Streaming的依赖性

Question

我尝试在我的build.sbt中使用以下依赖项，但它总是出现“未解决的依赖项”问题。

libraryDependencies += "org.apache.bahir" %% "spark-streaming-twitter_2.11" % "2.2.0.1.0.0-SNAPSHOT"
libraryDependencies += "org.apache.spark" %% "spark-streaming" % "2.2.0"

我使用的是Spark 2.2.0。什么是正确的依赖关系？

Answer 1

这个问题是在不久前发布的，但这周我遇到了同样的问题。对于那些仍然有这个问题的人，这里有一个解决方案：

正如您所看到的，使用SBT导入库的工件的正确语法是"spark-streaming-twitter"，而使用Maven导入库的正确语法是"spark-streaming-twitter_2.11"。这是因为，由于某些原因，当使用SBT导入时，Scala版本稍后会被追加(最后一个数字被截断)。

但问题是，工作的唯一工件是"spark-streaming-twitter_2.11"。例如，对于Scala 2.12，您将遇到以下错误

[warn]  ::::::::::::::::::::::::::::::::::::::::::::::
[warn]  ::          UNRESOLVED DEPENDENCIES         ::
[warn]  ::::::::::::::::::::::::::::::::::::::::::::::
[warn]  :: org.apache.bahir#spark-streaming-twitter_2.12;2.3.2: not found
[warn]  ::::::::::::::::::::::::::::::::::::::::::::::

但是如果你使用Scala 2.11，它应该可以很好地工作。下面是一个可用的sbt文件：

name := "twitter-read"

version := "0.1"

scalaVersion := "2.11.12"


libraryDependencies += "org.apache.spark" %% "spark-core" % "2.4.2"
libraryDependencies += "org.apache.spark" %% "spark-sql" % "2.4.2"
libraryDependencies += "org.apache.spark" %% "spark-streaming" % "2.4.2" % "provided"

libraryDependencies += "org.twitter4j" % "twitter4j-core" % "3.0.3"
libraryDependencies += "org.twitter4j" % "twitter4j-stream" % "3.0.3"

libraryDependencies += "org.apache.bahir" %% "spark-streaming-twitter" % "2.3.2"

Answer 2

下面是你需要为Spark-Twitter流媒体添加的依赖项。

<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-streaming_2.11</artifactId>
    <version>2.0.0</version>
</dependency>
<dependency>
   <groupId>org.apache.bahir</groupId>
   <artifactId>spark-streaming-twitter_2.11</artifactId>
   <version>2.0.0</version>
</dependency>
<dependency>
   <groupId>org.twitter4j</groupId>
   <artifactId>twitter4j-core</artifactId>
   <version>4.0.4</version>
  </dependency>
 <dependency>
   <groupId>org.twitter4j</groupId>
   <artifactId>twitter4j-stream</artifactId>
   <version>4.0.4</version>
   </dependency >
 <dependency>
  <groupId>com.twitter</groupId>
  <artifactId>jsr166e</artifactId>
  <version>1.1.0</version>  
</dependency>