文章/答案/技术大牛

发布

社区首页 >问答首页 >独立集群上的spark-submit抱怨scala-2.10 jars不存在

问独立集群上的spark-submit抱怨scala-2.10 jars不存在
EN

Stack Overflow用户

提问于 2017-07-25 11:57:38

回答 2查看 1.5K关注 0票数 1

我是Spark的新手，从Apache下载了一个预编译的Spark二进制文件(Spark-2.1.0-bin-hadoop2.7)

在提交我的scala (2.11.8) uber jar时，集群抛出并出现错误：

java.lang.IllegalStateException: Library directory '/root/spark/assembly/target/scala-2.10/jars' does not exist; make sure Spark is built

我没有运行Scala 2.10，Spark (据我所知)也不是用Scala 2.10编译的

会不会是我的一个依赖项基于Scala 2.10？

有什么建议可能是错的吗？

scala

apache-spark

apache-spark-standalone

回答 2

Stack Overflow用户

发布于 2017-07-25 18:21:11

请注意，预先构建的spark-2.1.0有什么问题，但我刚刚下载了spark 2.2.0，它工作得很好。

票数 0

Stack Overflow用户

发布于 2017-07-25 18:58:12

尝试在系统或集成开发环境中设置SPARK_HOME="location to your spark installation

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/45293666

复制

相似问题

问独立集群上的spark-submit抱怨scala-2.10 jars不存在
EN

回答 2

Stack Overflow用户

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问独立集群上的spark-submit抱怨scala-2.10 jars不存在EN

回答 2

Stack Overflow用户

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问独立集群上的spark-submit抱怨scala-2.10 jars不存在
EN