Apache-Pig，变换子组

Question

我开始使用Apache pig，并且正在尝试转换csv文件。

如果输入如下所示：

1,A,10,SS,11
 ,B,11,BB,12
 ,D,12,TT,13
2,A,20,GG,11
 ,C,22,YY,9
 ,E,30,  ,

有没有可能得到下面的输出？

Number, Type1, Value, Type2, Value,
     1,     A,    10,    SS,    11,
     1,     B,    11,    BB,    12,
     1,     D,    12,    TT,    13, 
     2,     A,    20,    GG,    11,
     2,     C,    22,    YY,     9, 
     2,     E,    30,      ,      , 

CSV包含由第一列中的数字标识的部分。第二列中的值在每个部分中都是可变的。每个部分之间的行数也是可变的。

Apache-Pig是解决这类问题的好工具吗?人们将如何处理这类信息？

Answer 1

首先使用bash shell脚本处理这个CSV文件，比如哪里有null，使用sed或awk.and添加高于空值的非null值，然后将修改后的文件放到HDFS..from中，在那里您可以使用Pig开始转换。