我正在Apache中设计一个MapReduce。我得到的数据包括:客户的唯一标识符,他们的邮政代码,购买日期,以及他们购买的产品。
一个示例数据如下所示:
CustId 10001,
PostCode 111111,
DoP 19/11/2000,
ProdP 1我想分析一下这个查询:
How many products a customer has purchased in the last 12 months? 我已经在Apache : MapReduce中为MapReduce设计了这个设计:MapReduce设计。我想检查我使用过的(键,值)对是否正确,以及这个设计是否处理所有的边缘情况。
任何帮助都是非常感谢的。提前谢谢。
发布于 2021-12-12 16:02:04
Mapreduce InputFileFormat需要单行上的单个记录,并且不能轻松地从单独的行中获取数据。例如,ProdP 1不会因为CustId 10001而为人所知
相反,使用适当的CSV文件,例如,包含如下数据
10001,111111,19/11/2000,1当然,mapreduce对这一行文件没有好处,因为像awk这样的Unix工具会更快.
另外,像Hive或SparkSQL这样的工具应该比mapreduce更好,因为它只是SELECT SUM(prodp) GROUP BY custId
https://stackoverflow.com/questions/70316989
复制相似问题