apache-pig dse pig扁平化使用

Question

我应该什么时候在猪中使用扁平化？无法从文档中理解。Pig中显示的错误消息和问题完全不同。它说有时flatten不能导入，但相同的flatten在某些地方可以工作。

Answer 1

每当你对数据文件中的任何标识符使用group命令时，它都会列出与包中的标识符相关的所有元组，这有时读起来相当麻烦。所以，如果你在group子句的顶部使用flatten，它会在你的输出文件中单独列出所有的元组，使用flatten的缺点是相同record.So的乏味，为了删除dulpicate，你需要写一段额外的代码。

非扁平化代码示例：

X = GROUP A BY f1;

DUMP X;

(1,{(1,2,3)})

(4,{(4,2,1),(4,3,3)})

(8,{(8,3,4)})

扁平化代码示例：

X = GROUP A BY f1;

DUMP X;

(1,2,3)

(4,2,1)

(4,3,3)

(8,3,4)