首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >如何在map reduce hadoop中对数据进行排序?

如何在map reduce hadoop中对数据进行排序?
EN

Stack Overflow用户
提问于 2013-05-06 23:49:16
回答 1查看 12K关注 0票数 4

我正在使用一个有4个MapReduce steps.the的程序,我的第一步输出是:

代码语言:javascript
复制
id      value
 1        20
 2         3
 3         9
 4        36

我有大约1,000,000个i,在第二步中,我必须对此步骤的values.the输出进行排序:

代码语言:javascript
复制
 id      value
 4        36
 1        20
 3         9
 2         3

如何在map reduce中对数据进行排序?我需要使用terasort吗?如果是,我如何在程序的第二步中使用terasort?谢谢。

EN

回答 1

Stack Overflow用户

发布于 2013-05-07 12:37:55

如果你想要根据value's排序,让它成为key in map函数。即

代码语言:javascript
复制
id      value
1        20
2         3
3         9
4        36
5         3

map函数中的(值)(键)

代码语言:javascript
复制
output will be 

key      value
3         5
3         2
9         3
20        1
36        4

map<value, id> output key/value  
reduce <value, id>

如果你想把id放在第一列,这是可行的。

Context.write(值,键);

请注意,id不会被排序

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/16402383

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档