通过sbt在本地运行星火应用程序

Question

我想在本地运行一个火花作业进行测试。如果使用spark-submit和组装好的jar，它就能正常工作。

然而，如果使用sbt run，我会得到一个非常奇怪的错误https://gist.github.com/geoHeil/946dd7706f44f338101c8332f4e13c1a

试图设置java-opts，如

javaOptions ++= Seq("-Xms512M", "-Xmx2048M", "-XX:MaxPermSize=2048M", "-XX:+CMSClassUnloadingEnabled")

并没有帮助解决这个问题。

尝试在local[*]模式下篡改内存设置，如

.set("spark.executor.memory", "7g")
.set("spark.driver.memory", "7g")

只会产生进一步的ExecutorLostFailure问题吗？

Answer 1

我从来没有具体地遇到过这个问题，但我认为火花代码并不适合在sbt run中运行。我甚至记得在文档里读到过它，但到现在还没有找到。

我想您应该做的是用sbt编译它，然后使用spark-submit。