猪的扁平化、去甲基化

Question

我想从以下模式创建一个扁平的联接表

   titles = FOREACH programs GENERATE (px.pig.udf.PARSE_KEYWORDS(program_xml))
    AS program:
        (root_id: long, 
        ids:bag {(idtype:chararray, idvalue:chararray)}, 
        keywords:bag {(keytype:chararray,keyvalue:chararray)});

如果输入是

(1, {('x','foo'),('y','bar')},{})
(2, {('x','fiz'),('y','buzz')},{})
(2, {('x','moo')},{})
...

输出应该类似于：

root_id    idvalue
1          foo
1          bar
2          fiz
2          buzz
3          moo

我怎么才能在猪身上做到呢？

Answer 1

1. 项目前两列。 X= foreach标题生成root_id，ids；
2. 在第二列上压平。 Y= foreach x生成root_id，平坦(Id) as (idtype:chararray，idvalue:chararray)；

这将以以下格式给出结果: root_id idtype idvalue

1 x foo

1y吧

2 x菲兹

2y嗡嗡

3×moo

项目第一列和第三列，以获得所需的结果。