如何在使用Hadoop时解析NoClassDefFoundError？

Question

我得到了

java.lang.NoClassDefFoundError: com/linkedin/camus/etl/IEtlKey线程中的异常。

在运行命令时：

hadoop jar camus-etl-kafka-0.1.0-SNAPSHOT.jar 
com.linkedin.camus.etl.kafka.CamusJob -P camus.properties

我得到以下例外..。

2016-04-27 11:34:04.622 java[13567:351959] Unable to load realm mapping info from SCDynamicStore
[NativeCodeLoader] - Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Exception in thread "main" java.lang.NoClassDefFoundError: com/linkedin/camus/etl/IEtlKey
    at com.linkedin.camus.etl.kafka.CamusJob.run(CamusJob.java:252)
    at com.linkedin.camus.etl.kafka.CamusJob.run(CamusJob.java:235)
    at com.linkedin.camus.etl.kafka.CamusJob.run(CamusJob.java:691)
    at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)
    at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:84)
    at com.linkedin.camus.etl.kafka.CamusJob.main(CamusJob.java:646)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:606)
    at org.apache.hadoop.util.RunJar.run(RunJar.java:221)
    at org.apache.hadoop.util.RunJar.main(RunJar.java:136)
Caused by: java.lang.ClassNotFoundException: com.linkedin.camus.etl.IEtlKey

我在类路径中包括了camus-example-0.1.0-SNAPSHOT-shaded.jar。

如果我遗漏了什么，请告诉我。

提前谢谢

苏米贾伊特

Answer 1

您应该尝试将camus-api包含在这个LinkedIn上一代的Kafka到HDFS管道页面上，因为缺少的类包含在这个包中，您可以看到这里。

注意加缪可能需要的其他传递依赖关系。

此外，要确保在使用hadoop jar from命令行时类将在类路径中找到，可以添加libjars命令行选项，如在Hadoop中使用libjars选项中所述

$ export =/path/ jar 1，/path/jar 2$ hadoop example.jar com.example.MyTool -libjars ${LIBJARS} -mytoolopt值

知道加缪将被戈布林取代可能是有用的：

加缪正在被淘汰，代之以戈布林。对于那些使用或感兴趣加缪，我们建议看看格布林。 有关从加缪迁移到戈布林的说明，请查看加缪·戈布林迁徙。