首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >Pig:运行两个聚合函数

问Pig:运行两个聚合函数
EN

Stack Overflow用户
提问于 2014-07-14 18:40:35
回答 2查看 568关注 0票数 0

我对Pig很陌生,我想运行两个聚合函数,但我不知道如何实现它。我的数据包括每行一次采购交易,其中我有一个SKU (库存标识符)和客户为SKU支付的价格(价格可能会有所变化):

代码语言:javascript
复制
sku   price_paid
---   ----------
123        21.70
789        62.12
123        22.10
123        19.78
456        11.91
789        55.13

我想生成以下列表,其中包含SKU、SKU被购买的次数以及SKU的平均价格。列表应按计数按降序排序。

代码语言:javascript
复制
sku      count  ave_price_paid
---  ---------  --------------
123          3           21.19
789          2           58.63 
456          1           11.91

任何帮助都将不胜感激。我现在还没走多远:

代码语言:javascript
复制
A = LOAD 'mydata.csv' USING PigStorage(',') AS (sku:chararray, price_paid:double);
B = GROUP A BY sku;
EN

回答 2

Stack Overflow用户

回答已采纳

发布于 2014-07-14 20:50:55

这应该对你有好处:

代码语言:javascript
复制
C = FOREACH B GENERATE group, COUNT(A) AS count:long, AVG(A.price_paid) AS avg:double;
D = ORDER C BY count DESC;

解释:

让我们从您已经拥有的代码开始:

代码语言:javascript
复制
A = LOAD 'mydata.csv' USING PigStorage(',') AS (sku:chararray, price_paid:double);
B = GROUP A BY sku;

现在我们有了关系B,它由两个字段组成:一个组名及其对应的包。组名只是一个组的名称,比如'123‘。这个包将是该特定组的所有行的列表。例如:

代码语言:javascript
复制
sku         bag
----       ----
123        {{123, 21.70}, {123, 22.10}, {123,19.78}}

如果您输入了DESCRIBE B;,那么您应该得到以下内容:

代码语言:javascript
复制
{group: chararray, A: {sku:chararray, price_paid:double}}

在这个模式中,A是袋子,在一个包中可能有很多项,每个包中都有一个sku字段和price_paid字段。

现在我们需要使用Pig强大的FOREACH...GENERATE语句:

代码语言:javascript
复制
C = FOREACH B GENERATE group, COUNT(A) AS count:long, AVG(A.price_paid) AS avg:double;

上面这一行的意思是,对于关系B中的每一行,输出:

  1. 组的名称
  2. 组包的COUNT() -整个包中的行数。使用AS子句,将这个列命名为'count‘,并使其长。
  3. 袋子中所有price_paid字段的price_paid。使用AS子句,将这个列命名为'avg‘,并将其命名为double。

最后:

代码语言:javascript
复制
D = ORDER C BY count DESC;

这将按“计数”列按降序排序关系C。

票数 1
EN

Stack Overflow用户

发布于 2014-07-14 22:27:42

聚合函数采用一袋值,并产生单个值。因为您要操作的袋子是由组语句创建的关系的一部分,所以我首先解释一下。

组将收集与给定密钥相同值的所有记录到一个袋子中(一个袋子是一个无序的记录集合)。关系B的记录包含两个字段:

  1. A key,命名为组(e.i.( sku)
  2. 一袋收集的记录,它的名称是它被分组的别名(关系名) (e.i。a)。请注意,您的包是如何“继承”与A相同的架构的。

让我们尝试使用DESCRIBE语句,它将显示关系的模式,例如,如果您这样做的话:

代码语言:javascript
复制
DESCRIBE B;

产出如下:

代码语言:javascript
复制
B: {group: chararray,A: {(sku: chararray,price_paid: double)}}

这与上面的解释相符。

考虑到这一点,现在可以执行以下语句:

代码语言:javascript
复制
C = FOREACH B GENERATE group, COUNT(A) as (count:long), AVG(A.price_paid) as (avg:double);

计数一个袋子中的记录数,AVG平均所有作为输入的值,e.i。包中元组记录的price_paid值(注意到访问它们的方式!)

然后执行以下命令:

代码语言:javascript
复制
D = ORDER C BY count desc;

以下是完整的代码:

代码语言:javascript
复制
A = LOAD 'pathOfYourFile' as (sku:chararray, price_paid:double);
B = GROUP A BY sku;
C = FOREACH B GENERATE group, COUNT(A) as (count:long), AVG(A.price_paid) as (avg:double);
D = ORDER C BY count desc;

有关内置函数的更多信息,可以查看apache引用:http://pig.apache.org/docs/r0.13.0/func.html。

票数 3
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/24743487

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档