首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >这是设计地图缩减的正确方法吗?

问这是设计地图缩减的正确方法吗?
EN

Stack Overflow用户
提问于 2021-12-11 16:38:25
回答 1查看 28关注 0票数 0

我正在Apache中设计一个MapReduce。我得到的数据包括:客户的唯一标识符,他们的邮政代码,购买日期,以及他们购买的产品。

一个示例数据如下所示:

代码语言:javascript
复制
CustId 10001,
PostCode 111111,
DoP 19/11/2000,
ProdP 1

我想分析一下这个查询:

代码语言:javascript
复制
How many products a customer has purchased in the last 12 months? 

我已经在Apache : MapReduce中为MapReduce设计了这个设计:MapReduce设计。我想检查我使用过的(键,值)对是否正确,以及这个设计是否处理所有的边缘情况。

任何帮助都是非常感谢的。提前谢谢。

EN

回答 1

Stack Overflow用户

发布于 2021-12-12 16:02:04

Mapreduce InputFileFormat需要单行上的单个记录,并且不能轻松地从单独的行中获取数据。例如,ProdP 1不会因为CustId 10001而为人所知

相反,使用适当的CSV文件,例如,包含如下数据

代码语言:javascript
复制
10001,111111,19/11/2000,1

当然,mapreduce对这一行文件没有好处,因为像awk这样的Unix工具会更快.

另外,像Hive或SparkSQL这样的工具应该比mapreduce更好,因为它只是SELECT SUM(prodp) GROUP BY custId

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/70316989

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档