使用ADF从ADLS Gen2加载Parquet文件

Question

我希望以这样的方式设置ADF管道，这样我就需要在ADLS Gen2上加载托管在Gen2上的所有Parquet文件，其层次结构为年份、->、月、->、日、->、小时-> Min。在这段时间里，我们确实有一些文件结构的变化，方差为2-3列。我想要提取所有公共列并在sql表中加载整个数据。有人能告诉我哪些资源可以帮助我的需求吗？

谢谢!

Answer 1

在Azure数据工厂的管道里，

1. 使用Get Metadata活动获取拼花文件的列表。
2. 将子项传递给ForEach活动，以循环每个当前项。
3. 在中频条件活动中添加ForEach活动，以检查文件中的日期是否大于当前时间减去2。
4. 在True活动中添加一个复制数据活动，以便将数据从源复制到接收器。

您可以引用此文档将数据复制到SQL表。