我有一个来自盗版数据集的关系,其中包含以下字段:
date, country_code, torrent_id, first_seen, torrent_size, quality, movie_id, value我想按日期、国家、电影和质量分组,以计算总和。但我也想计算最小,最大,torrent_size的平均值为所有激流的电影在那一天。
这就是我到目前为止所得到的
A = FOREACH (GROUP data BY (date, country_code, movie_id, quality)) {
GENERATE group, SUM(data.value) as total_piracy;
};然而,我不确定如何做最小,最大,平均大小的激流的电影在日期可用的国家以及。
发布于 2017-02-09 12:10:31
您可以查看以下命令:
A= LOAD '<locationOfDataSet>' USING PigStorage(',')
AS (date:chararray, country_code:chararray, torrent_id:int, first_seen:chararray, torrent_size:int, quality:chararray, movie_id:int, value:int) ;
B=GROUP A BY (date,movie_id);
C=FOREACH B GENERATE group, MIN(A.torrent_size), MAX(A.torrent_size),AVG(A.torrent_size);
dump C;希望这能有所帮助。
发布于 2017-02-07 06:00:58
创建另一个关系并按日期、电影进行分组,并获得MIN、MAX、AVG
B = GROUP data BY (date,movie);
C = FOREACH B GENERATE group,
MIN(data.torrent_size) as min_ts,
MAX(data.torrent_size) as max_ts,
AVG(data.torrent_size) as avg_ts;https://stackoverflow.com/questions/42075595
复制相似问题