从数据湖存储区合并文件

Question

我有一个包，每天将一个文件导入数据湖存储。因此，这是同一个文件，具有不同的值(相同的列等)。我的想法是将这些文件合并到数据湖上的单个文件中，以便每月报告。我想调查U，所以我的问题是：

有可能用U-SQL吗？

如果不可能的话，还有其他选择吗？

Answer 1

很容易从两个文件中合并记录并编写一个新文件。以下是步骤

1. 使用提取程序读取所有新文件
2. 使用提取程序读取当前主文件的所有记录。
3. 使用UNION合并记录：https://msdn.microsoft.com/en-us/library/azure/mt621340.aspx
4. 使用output语句将输出写入主文件

要快速了解U教程，请访问以下内容：https://learn.microsoft.com/en-us/azure/data-lake-analytics/data-lake-analytics-u-sql-get-started