开发连接到azure CosmosDB的scala spark应用

Question

我正在开发连接到cosmosDB的scala spark应用程序，但无法解决SBT中的依赖问题。每当我包含org.apache.spark时，它就会与azure-cosmosdb spark冲突，如果我去掉org.apache.spark，我就无法让spark sparkSession来解决问题。

我的SBT配置：

name := "MyApp"
version := "1.0"``
scalaVersion := "2.11.8"

libraryDependencies ++= Seq(
"org.apache.spark" % "spark-core_2.11" % "2.3.0",
"org.apache.spark" % "spark-sql_2.11" % "2.3.0" ,
"org.apache.spark" % "spark-streaming_2.11" % "2.3.0" ,
"org.apache.spark" % "spark-mllib_2.11" % "2.3.0" ,
"com.microsoft.azure" % "azure-storage" % "2.0.0",
"org.apache.hadoop" % "hadoop-azure" % "2.7.3",
"com.microsoft.azure" % "azure-cosmosdb-spark_2.2.0_2.11" % "1.0.0",
"com.microsoft.azure" % "azure-documentdb" % "1.14.2" ,
"com.microsoft.azure" % "azure-documentdb-rx" % "0.9.0-rc2" ,
"io.reactivex" % "rxjava" % "1.3.0" ,
"io.reactivex" % "rxnetty" % "0.4.20",
 "org.json" % "json" % "20140107",
"org.jmockit" % "jmockit" % "1.34" % "test"
)

Answer 1

您应该使用与azure-cosmosdb Spark库完全相同的spark版本。从他们使用2.2.0的版本号来猜测，而您使用的是2.3.0。所以你可能需要降级一个版本。

如果你真的需要2.3，你需要研究一下着色，例如使用sbt-assembly插件。