如何在Windows 7 64位上安装Spark2.1.0？

Question

我在Windows 7 64位上，并跟随这个博客安装Spark2.1.0。

因此，我试图从https://github.com/apache/spark到C:\spark-2.1.0中克隆的资源构建Spark。

当我运行sbt assembly或sbt -J-Xms2048m -J-Xmx2048m assembly时，我得到：

[info] Loading project definition from C:\spark-2.1.0\project
[info] Compiling 3 Scala sources to C:\spark-2.1.0\project\target\scala-2.10\sbt-0.13\classes...
java.lang.StackOverflowError
at java.security.AccessController.doPrivileged(Native Method)
at java.io.PrintWriter.<init>(Unknown Source)
at java.io.PrintWriter.<init>(Unknown Source)
at scala.reflect.api.Printers$class.render(Printers.scala:168)
at scala.reflect.api.Universe.render(Universe.scala:59)
at scala.reflect.api.Printers$class.show(Printers.scala:190)
at scala.reflect.api.Universe.show(Universe.scala:59)
at scala.reflect.api.Printers$class.treeToString(Printers.scala:182)
...

我按照建议调整了sbt的内存设置，这些设置无论如何都被忽略了。有什么想法吗？

Answer 1

这篇链接的博客帖子是“2015年4月29日发布的”，现在已经两岁了，现在只应该阅读它来了解事情是如何变化的(我甚至不打算链接这篇博文来停止将人们引导到这个网站)。

2017年在Windows上安装Spark的方法如下：

1. 从http://spark.apache.org/downloads.html下载火花。
2. 阅读从下载中开始的正式文档。

就这样。

在Windows上安装Spark

众所周知，由于Hadoop的需求，Windows会给您带来问题(而Spark确实在幕后使用Hadoop)。

您必须安装可以在winutils存储库中找到的https://github.com/steveloughran/winutils二进制文件。

提示:您应该选择Spark发行版编译的Hadoop版本，例如将hadoop-2.7.1用于Spark2.1.0。

将winutils.exe二进制文件保存到您选择的目录中，例如c:\hadoop\bin并定义HADOOP_HOME以包含c:\hadoop。

有关进一步步骤，请参见在Windows上运行Spark应用程序。

Answer 2

以下设置适用于我(sbtconfig.txt)：

# Set the java args to high

-Xmx1024M

-XX:MaxPermSize=2048m

-Xss2M

-XX:ReservedCodeCacheSize=128m

# Set the extra SBT options

-Dsbt.log.format=true