如何使用特定版本的scala安装特定版本的spark

Question

我在我的mac里运行spark 2.4.5。当我执行spark-submit --version时

      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /___/ .__/\_,_/_/ /_/\_\   version 2.4.5
      /_/

Using Scala version 2.11.12, OpenJDK 64-Bit Server VM, 1.8.0_242
Branch HEAD
Compiled by user centos on 2020-02-02T19:38:06Z
Revision cee4ecbb16917fa85f02c635925e2687400aa56b
Url https://gitbox.apache.org/repos/asf/spark.git
Type --help for more information.

注意，它使用的是scala版本的2.11.12。然而，我的应用程序正在使用2.12.8，这给我带来了众所周知的java.lang.NoSuchMethodError: scala.Product.$init$(Lscala/Product;)V错误。

我的问题是如何让我的星星之火2.4.5使用scala 2.12，如它们在Download下的官方网络专家e中所示：Spark 2.4.5 uses Scala 2.12

我试过brew search apache-spark

==> Formulae
apache-spark ✔

brew info apache-spark还给了我

apache-spark: stable 2.4.5, HEAD
Engine for large-scale data processing
https://spark.apache.org/
/usr/local/Cellar/apache-spark/2.4.4 (1,188 files, 250.7MB) *
  Built from source on 2020-02-03 at 14:57:17
From: https://github.com/Homebrew/homebrew-core/blob/master/Formula/apache-spark.rb
==> Dependencies
Required: openjdk ✔
==> Options
--HEAD
    Install HEAD version
==> Analytics
install: 7,150 (30 days), 15,180 (90 days), 64,459 (365 days)
install-on-request: 6,900 (30 days), 14,807 (90 days), 62,407 (365 days)
build-error: 0 (30 days)

如有任何建议，敬请指教！

Answer 1

您可以在本地构建任何自定义版本的星火。

• 局部克隆https://github.com/apache/spark
• 更新pom文件，重点关注scala.version、hadoop.version、scala.binary.version和https://github.com/apache/spark/blob/master/pom.xml中的artifactId
• mvn -DskipTests clean package (来自他们的自述)
• 成功构建后，在assembly/target/scala-2.11/jars、external/../target和其他您想要的外部jars中查找所有jars，这些jars可能位于您提交的jars的provided范围内。
• 创建一个新目录和export SPARK_HOME="/path/to/directory_name"，以便https://github.com/apache/spark/blob/master/bin/spark-submit能够检测到它(请参阅源代码以了解原因)
• 将jars复制到$SPARK_HOME/jars中，并确保没有冲突的jars
• bin/脚本应该是相同的，但是如果需要的话，具体引用它们，如果您不再需要它们，甚至可能取消它们的链接。

Answer 2

Spark社区在这个网站上提供了较老版本的spark，您可以根据您的操作系统选择任何版本，对于windows，您可以使用tgz扩展文件。

https://archive.apache.org/dist/spark/