火花-外壳依赖项，从sbt转换而来

Question

在检查如何使用cassandra连接时，文档指示将其添加到sbt文件中：

"libraryDependencies += "com.datastax.spark" %% "spark-cassandra-connector" % "1.6.0-M1"

一般来说，是否有一个显而易见的、直接的逻辑来将其转化为相应的：

spark-shell --packages "field1":"field2"

我试过：

spark-shell --packages "com.datastax.spark":"spark-cassandra-connector"

还有一些其他的事情，但这行不通。

Answer 1

我相信是--packages "groupId:artifactId:version"。如果您有多个包，您可以用逗号分隔它们。--packages "groupId1:artifactId1:version1, groupId2:artifactId2:version2"

在sbt

val appDependencies = Seq(
  "com.datastax.spark" % "spark-cassandra-connector_2.10" % "1.6.0-M1"
)

和

val appDependencies = Seq(
  "com.datastax.spark" %% "spark-cassandra-connector" % "1.6.0-M1"
)

都是一样的。如果在sbt中使用%%语法(groupId之后)，它会自动获取scala版本的工件。因此，使用Scala2.10，它将您的火花-卡桑德拉-连接器更改为火花-卡桑德拉-连接器_ 2.10。不确定在使用星火壳时是否存在此特性，因此您可能需要显式地要求您的工件的scala2_10版本，如下所示：--packages "com.datastax.spark:spark-cassandra-connector_2.10:1.6.0-M1"。

Answer 2

应指定版本。

spark-shell --packages "com.datastax.spark":"spark-cassandra-connector_2.11":"2.0.0-M3"

您可以从http://search.maven.org/#search%7Cga%7C1%7Cspark-cassandra-connector中找到版本信息。

Answer 3

按照在星火软件包网站上发布的说明

使用星火壳

$spark_HOME/bin/spark shell-软件包datastax:spark-cassandra-connector:1.6.0-M1-s_2.10

还有关于各种构建系统的说明。

SBT

resolvers += "Spark Packages Repo" at "http://dl.bintray.com/spark-packages/maven"

libraryDependencies += "datastax" % "spark-cassandra-connector" % "1.6.0-M1-s_2.11"

和Maven

<dependencies>
  <!-- list of dependencies -->
  <dependency>
    <groupId>datastax</groupId>
    <artifactId>spark-cassandra-connector</artifactId>
    <version>1.6.0-M1-s_2.11</version>
  </dependency>
</dependencies>
<repositories>
  <!-- list of other repositories -->
  <repository>
    <id>SparkPackagesRepo</id>
    <url>http://dl.bintray.com/spark-packages/maven</url>
  </repository>
</repositories>