java.lang.ClassNotFoundException:使用Eclipse运行Spark-submit时出现com.github.lwhite1.tablesaw.api.Table错误

Question

我在Ubuntu中使用spark-submit在Spark上执行java归档。该命令如下所示。这个JAR文件是使用Maven包构建的。依赖关系在pom.xml文件中指定。

]$ spark-submit --class HighScore.Driver --master local[*] JarfilePath/Levelwise_PCFS-0.0.1-SNAPSHOT.jar InputFilePath/K9_Site1.csv 1000.

即使在命令中指定了packageName.className (HighScore.Driver)，我也会收到以下错误。

以下是错误消息。

Exception in thread "main" java.lang.NoClassDefFoundError: com/github/lwhite1/tablesaw/api/Table
    at java.lang.Class.getDeclaredMethods0(Native Method)
    at java.lang.Class.privateGetDeclaredMethods(Class.java:2701)
    at java.lang.Class.privateGetMethodRecursive(Class.java:3048)
    at java.lang.Class.getMethod0(Class.java:3018)
    at java.lang.Class.getMethod(Class.java:1784)
    at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:727)
    at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:187)
    at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:212)
    at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:126)
    at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)
    Caused by: java.lang.ClassNotFoundException: com.github.lwhite1.tablesaw.api.Table
    at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
        ... 10 more

在pom.xml文件中还指定了com/github/lWhite1/tablesaw/api/表依赖项。但它仍然会抛出异常。

有人能帮我纠正这个错误吗？

Answer 1

请记住，类加载器(特别是java.net.URLClassLoader)将在类路径中每个条目的a/b/c/文件夹中查找a.bc包中的类。

NoClassDefFoundError还可以指示您缺少已编译并试图使用的.jar文件的传递依赖项。

例如，如果您有一个类com.example.Foo，那么在编译之后就会有一个类文件Foo.class。例如，假设您的工作目录是.../project/.，那么类文件必须放在.../project/com/example中，并且您可以将类路径设置为.../project/。

有关更多详细信息，请参阅此post。这将是有帮助的。