如何在pig中加入bag

Question

首先，我有两个数据文件。

largefile.txt：

1001    {(1,-1),(2,-1),(3,-1),(4,-1)}

smallfile.txt：

1002    {(1,0.04),(2,0.02),(4,0.03)}

我想要这样的smallfile.txt：

1002    {(1,0.04),(2,0.02),(3,-1),(4,0.03)}

我可以做这样的事情的连接类型是什么？

A = LOAD './largefile.txt' USING PigStorage('\t') AS (id:int, a:bag{tuple(time:int,value:float)});

B = LOAD './smallfile.txt' USING PigStorage('\t') AS (id:int, b:bag{tuple(time:int,value:float)});

Answer 1

你能把你的需求说清楚一点吗？是否要在largefile.txt和smallfile.txt的第一列/字段上使用相同的值连接(例如1002)。如果是这样的话，你可以简单地这样做：

A=使用PigStorage('\t') AS (id:int，a:bag{tuple(time:int，value:float)})加载'./largefile.txt‘；

A= Foreach A生成id，扁平化(A)为时间，值；

B=使用PigStorage('\t') AS (id:int，b:bag{tuple(time:int，value:float)})加载'./smallfile.txt‘；

B= Foreach B生成id，展平(B)作为时间，值；

joined =通过A.id连接A，通过B.id连接B；