Hadoop: mapred.LocalJobRunner: MissingResourceException

Question

我正在尝试用定制的记录阅读器、映射器和还原器来设置一个简单的mapReduce应用程序。直到(包括)映射器才能正常工作(调用context.write时，我在控制台上编写了键值对进行测试)。

然后我就会收到消息

"14/03/04 14:25:43 INFO mapred.JobClient: map 100%减少0%“。

但在那之后，我每3秒就有一个无限的循环。

14/03/04 14:25:45信息mapred.LocalJobRunner：“

没有详细的信息或其他任何东西。

在我的IDE中启用记录所有异常时，在上面的每一条消息之后都会得到以下异常：

在java.util.ResourceBundle.throwMissingResourceException(ResourceBundle.java:1499)的线程‘通信线程’中发生异常'java.util.MissingResourceException‘

我在作业的配置中定义了映射器和还原器，但是它似乎找不到还原器类(?)。做了一个断点内的减速器，程序从来没有到这一行。

我的pom.xml：

        <dependency>
        <groupId>org.springframework.data</groupId>
        <artifactId>spring-data-hadoop</artifactId>
        <version>1.0.2.RELEASE</version>
        </dependency>

我的工作是：

    Job job = new Job(new Configuration());
    job.setOutputKeyClass(IntWritable.class);
    job.setOutputValueClass(Text.class);
    job.setMapOutputKeyClass(IntWritable.class);
    job.setMapOutputValueClass(IntWritable.class);
    job.setMapperClass(DataFileMapper.class);
    job.setReducerClass(DataFileReducer.class);
    job.setInputFormatClass(HourBlockInputFormat.class);

    FileInputFormat.addInputPath(job, new Path("..."));
    FileOutputFormat.setOutputPath(job, new Path("..."));
    job.submit();

如果有任何建议，我将不胜感激，

最好的

Answer 1

我得到了同样的错误(无限循环)。我通过更新我的pom.xml文件来解决问题。

<dependencies>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-mapreduce-client-common</artifactId>
        <version>2.7.1</version>
    </dependency>
<dependencies>

在我的pom.xml文件中添加上面的依赖项。也许它会对你有帮助。对我来说，它解决了问题。

如果您有任何问题，请评论。