首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >Scala/Spark:原因: java.lang.ClassNotFoundException: org.apache.spark.Logging

Scala/Spark:原因: java.lang.ClassNotFoundException: org.apache.spark.Logging
EN

Stack Overflow用户
提问于 2017-01-06 00:46:16
回答 0查看 1.8K关注 0票数 2

我是scala和spark的新手。尝试修复我的spark/scala开发设置。我被版本和缺少的jars搞糊涂了。我在stackoverflow上搜索了一下,但仍然停留在这个问题上。可能是某些东西丢失或配置错误。

运行命令:

代码语言:javascript
复制
me@Mycomputer:~/spark-2.1.0$ bin/spark-submit --class ETLApp /home/me/src/etl/target/scala-2.10/etl-assembly-0.1.0.jar

输出:

代码语言:javascript
复制
...
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/Logging
...
Caused by: java.lang.ClassNotFoundException: org.apache.spark.Logging

build.sbt:

代码语言:javascript
复制
name := "etl"

version := "0.1.0"
scalaVersion := "2.10.5"
javacOptions ++= Seq("-source", "1.8", "-target", "1.8")
mainClass := Some("ETLApp")

libraryDependencies += "org.apache.spark" %% "spark-core" % "1.5.2" % "provided";
libraryDependencies += "org.apache.spark" %% "spark-sql" % "1.5.2" % "provided";
libraryDependencies += "org.apache.spark" %% "spark-streaming" % "1.5.2" % "provided";
libraryDependencies += "org.apache.spark" %% "spark-streaming-kafka" % "1.5.2";
libraryDependencies += "com.datastax.spark"  %% "spark-cassandra-connector" % "1.5.0-M2";
libraryDependencies += "org.apache.curator" % "curator-recipes" % "2.6.0"
libraryDependencies += "org.apache.curator" % "curator-test" % "2.6.0"
libraryDependencies += "args4j" % "args4j" % "2.32"

java -version java版本"1.8.0_101“

scala -version 2.10.5

spark版本2.1.0

欢迎任何提示。谢谢

EN

回答

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/41490327

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档