Pig:对包中的每个元素应用FOREACH运算符

Question

例如:我有一个关系"class"，有一个嵌套的学生包：

class: {teacher_name: chararray,students: {(firstname: chararray, lastname: chararray)}

我想对每个学生执行一个操作，同时保持全局结构不变，即获取：

class: {teacher_name: chararray,students: {(fullname: chararray)}

其中，对于每个学生，fullname =CONCAT(名，姓)

我的理解是，嵌套的FOREACH不是我的解决方案，因为它仍然只为每个输入元组生成一条记录，而我希望在每个袋子项中应用一些东西。

使用UDF很容易，但想知道是否有可能在纯Piglatin中实现

Answer 1

在PIG 0.10中，可以不使用UDF，因为FOREACH可以嵌套在FOREACH中。下面是一个示例：

inpt = load '~/pig/data/bag_concat.dat' as (k : chararray, c1 : chararray, c2 : chararray);
dump inpt;
1   q   w
1   s   d
2   q   a
2   t   y
2   u   i
2   o   p

bags = group inpt by k;
describe bags;

bags: {group: chararray,inpt: {(k: chararray,c1: chararray,c2: chararray)}}

result = foreach bags {
    concat = foreach inpt generate CONCAT(c1, c2); --it will iterate only over the records of the inpt bag
    generate group, concat;
};
dump result;

(1,{(qw),(sd)})
(2,{(qa),(ty),(ui),(op)})