参见 Github 的说明,在 build.sbt 中添加: //这句很关键 resolvers += "Spark Packages Repo" at "http://dl.bintray.com/spark-packages org.apache.spark" %% "spark-graphx" % "2.1.0" resolvers += "Spark Packages Repo" at "http://dl.bintray.com/spark-packages
ongdb-contrib/ongdb-spark-java-scala-example 下载依赖包如果出现问题请检查下面网址是否可以正常下载Spark相关的JAR包 http://dl.bintray.com/spark-packages
ex)512m,32g zeppelin.dep.additionalRemoteRepository spark-packages, http://dl.bintray.com/spark-packages
[ext] bintray-spark-packages: https://dl.bintray.com/spark-packages/maven/ typesafe-releases: http
目前来说直接使用有点困难,不过我看到spark-packages里已经有了,但还没有发布。不过没关系,PySpark里有ml包,除了ml包,还可以使用MLlib,这个在后期会写,也很方便。
项目的project/plugins.sbt文件中写入下面的代码: resolvers += "bintray-Spark-packages" at "https://dl.bintray.com/ Spark-packages
我们能从spark-packages上注册的包数量中看到Spark社区的活跃度。截至2017年2月3日,注册的包的数量已达到319个。 ?