我对Pig很陌生,我想运行两个聚合函数,但我不知道如何实现它。我的数据包括每行一次采购交易,其中我有一个SKU (库存标识符)和客户为SKU支付的价格(价格可能会有所变化):
sku price_paid
--- ----------
123 21.70
789 62.12
123 22.10
123 19.78
456 11.91
789 55.13我想生成以下列表,其中包含SKU、SKU被购买的次数以及SKU的平均价格。列表应按计数按降序排序。
sku count ave_price_paid
--- --------- --------------
123 3 21.19
789 2 58.63
456 1 11.91任何帮助都将不胜感激。我现在还没走多远:
A = LOAD 'mydata.csv' USING PigStorage(',') AS (sku:chararray, price_paid:double);
B = GROUP A BY sku;发布于 2014-07-14 20:50:55
这应该对你有好处:
C = FOREACH B GENERATE group, COUNT(A) AS count:long, AVG(A.price_paid) AS avg:double;
D = ORDER C BY count DESC;解释:
让我们从您已经拥有的代码开始:
A = LOAD 'mydata.csv' USING PigStorage(',') AS (sku:chararray, price_paid:double);
B = GROUP A BY sku;现在我们有了关系B,它由两个字段组成:一个组名及其对应的包。组名只是一个组的名称,比如'123‘。这个包将是该特定组的所有行的列表。例如:
sku bag
---- ----
123 {{123, 21.70}, {123, 22.10}, {123,19.78}}如果您输入了DESCRIBE B;,那么您应该得到以下内容:
{group: chararray, A: {sku:chararray, price_paid:double}}在这个模式中,A是袋子,在一个包中可能有很多项,每个包中都有一个sku字段和price_paid字段。
现在我们需要使用Pig强大的FOREACH...GENERATE语句:
C = FOREACH B GENERATE group, COUNT(A) AS count:long, AVG(A.price_paid) AS avg:double;上面这一行的意思是,对于关系B中的每一行,输出:
COUNT() -整个包中的行数。使用AS子句,将这个列命名为'count‘,并使其长。AS子句,将这个列命名为'avg‘,并将其命名为double。最后:
D = ORDER C BY count DESC;这将按“计数”列按降序排序关系C。
发布于 2014-07-14 22:27:42
聚合函数采用一袋值,并产生单个值。因为您要操作的袋子是由组语句创建的关系的一部分,所以我首先解释一下。
组将收集与给定密钥相同值的所有记录到一个袋子中(一个袋子是一个无序的记录集合)。关系B的记录包含两个字段:
让我们尝试使用DESCRIBE语句,它将显示关系的模式,例如,如果您这样做的话:
DESCRIBE B;产出如下:
B: {group: chararray,A: {(sku: chararray,price_paid: double)}}这与上面的解释相符。
考虑到这一点,现在可以执行以下语句:
C = FOREACH B GENERATE group, COUNT(A) as (count:long), AVG(A.price_paid) as (avg:double);计数一个袋子中的记录数,AVG平均所有作为输入的值,e.i。包中元组记录的price_paid值(注意到访问它们的方式!)
然后执行以下命令:
D = ORDER C BY count desc;以下是完整的代码:
A = LOAD 'pathOfYourFile' as (sku:chararray, price_paid:double);
B = GROUP A BY sku;
C = FOREACH B GENERATE group, COUNT(A) as (count:long), AVG(A.price_paid) as (avg:double);
D = ORDER C BY count desc;有关内置函数的更多信息,可以查看apache引用:http://pig.apache.org/docs/r0.13.0/func.html。
https://stackoverflow.com/questions/24743487
复制相似问题