将scala-spark文件编译为jar文件

Question

我正在做一个频繁项目集的项目，我使用FP-Growth算法，我依赖于Scala-Spark开发的版本

https://github.com/apache/spark/blob/v2.1.0/mllib/src/main/scala/org/apache/spark/mllib/fpm/FPGrowth.scala

我需要修改这段代码并重新编译它，以便有一个jar文件，我可以将它包含到Spark-shell中，并在spark中调用它的函数

问题是spark-shell没有解释器，它在这个文件中发现了错误，我用eclipse尝试过Sbt，但没有成功。我需要的是一个编译器，可以使用最新版本的scala和spark-shel库来将这个文件编译成jar文件。

Answer 1

现在我明白你的问题了！

所有你需要做的就是添加依赖jar (scala，java，等等)到你将要使用你自己的jar的机器上。稍后将jars添加到spark-shell中，您可以像下面这样使用它。

spark-shell --jars your_jar.jar

Answer 2

请按照以下步骤操作：

Spark repository

• modify签出Spark repository

• run文件以修改Spark distribution

中的Spark

• build项目

• 运行./dev/make-distribution.sh脚本