合并猪中的多个文件

Question

我有几个文件(大约10个文件)，我想合并成猪：

Student01.txt 
Student02.txt
...
Student10.txt 

我知道，我可以通过以下方式合并两个数据集：

data = UNION Student01, Student02

有任何方法可以迭代循环将数据集从Student01合并到Student10吗？

Answer 1

假设文件格式相同，那么LOAD命令允许您读取所有文件，如果您为它提供了一个目录或一个glob。

从医生那里-

加载的输入数据可以是文件、目录或glob。

示例

STUDENTS = LOAD("/path/to/students/Student*.txt") USING PigStorage();