首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >hadoop字数统计,获取最大出现字数

问hadoop字数统计,获取最大出现字数
EN

Stack Overflow用户
提问于 2013-01-14 19:38:45
回答 1查看 5.6K关注 0票数 2

我是hadoop的新手。我已经完成了字数统计,现在我想做一个修改。

我想要获取文本文件中出现次数最多的单词。如果是,正常的字数统计程序给出输出:

代码语言:javascript
复制
a 1
b 4
c 2

我想写一个只给我输出的程序

代码语言:javascript
复制
b 4

下面是我的reducer函数::

代码语言:javascript
复制
public static class Reduce extends Reducer<Text, IntWritable, Text, IntWritable> 
{

 int max_sum=0;
 Text max_occured_key;

 public void reduce(Text key, Iterable<IntWritable> values, Context context) 
  throws IOException, InterruptedException 
  {
    int sum = 0;
    for (IntWritable val : values) 
    {
        sum += val.get();           
    }
    if(sum > max_sum)
    {
        max_sum = sum;
        max_occured_key = key;

    }

    context.write(max_occured_key, new IntWritable(max_sum));
    //context.write(key, new IntWritable(sum));

  }

}

但它没有提供正确的输出。有谁能帮上忙吗?

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2013-01-14 20:17:14

到目前为止,您将在每个reduce函数的末尾写出最大值-因此您将在每个reduce函数中获得多个条目。在将键的引用复制到max_occured_key变量(而不是复制值)时,还会遇到引用重用问题。

您可能应该修改如下:

  • 在构造时初始化max_occured_key变量(为空文本)
  • 调用max_occured_key.set(key);而不是使用equals赋值-引用
  • 参数将在reduce方法的所有迭代中重复使用,因此实际对象将保持不变,只有底层内容将根据清理method进行修改,并将context.write调用移动到该方法-因此每个reducer只能获得一个K,V输出对。

例如:

代码语言:javascript
复制
@Override
protected void cleanup(Context context) {
  context.write(max_occured_key, new IntWritable(max_sum));
}

一旦所有数据都通过map或reduce任务传递,就会调用cleanup方法(每个任务实例都会调用该方法(因此,如果您提供了10个reducers,则会为每个实例调用该方法)。

票数 5
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/14317738

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档