Apache Pig Group / Flatten / Join

Question

我有两个数据集。

集合A有多个事件，每个事件发生在一个日期，每个日期有多个事件。例如：

10/23/2015, event1
10/23/2015, event2
9/17/2014, event3

集合B对每个日期都有一个天气观测。每个日期只有一个观察值。例如：

10/23/2015, obs1
10/22/2015, obs2
9/17/2014, obs3

我想在每个事件上附上其各自日期的天气观测，例如：

10/23/2015, event1, obs1
10/23/2015, event2, obs1
9/17/2014, event3, obs3

我认为这可以通过按日期分组set A，按date对set B进行内连接，然后将结果扁平化来实现。

有没有人可以告诉我这是不是最好的方法，并告诉我使用的代码？谢谢

Answer 1

不需要分组和展平。如果只是连接，那么您必须删除重复的date列。

a = LOAD 'datasetA.txt' USING PigStorage(',') as (date:chararray, evt:chararray);
b = LOAD 'datasetB.txt' USING PigStorage(',') as (date:chararray, obs:chararray);
c_join = a JOIN b ON a.date == b.date;
c = FOREACH c_join GENERATE a::date, a::evt, b::obs;

输出

dump c;
(9/17/2014, event3, obs3)
(10/23/2015, event2, obs1)
(10/23/2015, event1, obs1)