Hadoop ToolRunner在NoClassDefFoundError中失败

Question

我创建了一个简单的MapReduce驱动程序来实现工具接口。但是，当我试图在Eclipse中运行作业时，在调用NoClassDefFoundError方法之前，我会得到一个run()。

我正在Ubuntu 10.04 LTS上运行Ubuntu 10.04 LTS。源代码和堆栈跟踪如下所示。如能提供任何协助，将不胜感激。

源码

import org.apache.hadoop.conf.*;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.*;
import org.apache.hadoop.mapreduce.*;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.*;

public class MyTestDriver extends Configured implements Tool {


@Override
public int run(String[] args) throws Exception {

    if (args.length != 2) {
        System.err.printf("Usage: %s [generic options] <input> <output>\n",
            getClass().getSimpleName());
        ToolRunner.printGenericCommandUsage(System.err);
        return -1;
    }

    // Code here to submit Hadoop Job ...   
    return 0;
}

/**
 * @param args
 */
public static void main(String[] args) throws Exception {
    int exitCode = ToolRunner.run(new MyTestDriver(), args);
    System.exit(exitCode);
}

}

斯塔克迹

线程"main“中的异常: org/apache/commons/cli/ParseException在org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:59) at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:79) at MaxTemperatureDriver.main(MaxTemperatureDriver.java:44)引起: java.lang.ClassNotFoundException: org.apache.commons.cli.ParseException at java.net.URLClassLoader$1.run(URLClassLoader.java:202)引起( java.security.AccessController.doPrivileged(Native方法)在java.net.URLClassLoader.findClass(URLClassLoader.java:190)，java.lang.ClassLoader.loadClass(ClassLoader.java:307)，sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:301)，java.lang.ClassLoader.loadClass(ClassLoader.java:248) .3

Answer 1

您的Eclipse构建路径中是否存在Hadoop的所有依赖项？确保hadoop/lib目录中的所有jars都在构建路径中。

Answer 2

此错误意味着没有找到特定的类。类存储在.jar文件中。因此，您需要检查所有所需的jar文件是否可用。根据克拉斯帕特变量搜索Jar文件。如果您使用Eclipse作为您的开发环境，请检查构建依赖关系是否满足(您可以通过右键单击您的项目->配置构建路径->添加外部jar)。

另外，如果您不确定缺少哪个类，则可以检查类名(Hadoop是开放源码的，因此可以找到类名)，然后在findjar中搜索类名。