首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >如何使用参数文件将多个文件从BLOB导出到Azure Synapse Analytics中的数据湖Parquet格式?

如何使用参数文件将多个文件从BLOB导出到Azure Synapse Analytics中的数据湖Parquet格式?
EN

Stack Overflow用户
提问于 2021-02-09 19:46:22
回答 2查看 258关注 0票数 0

我正在尝试从blob存储导出多个.csv文件到Azure数据湖存储,基于参数文件,使用ADF -for每个迭代blob中的每个文件并复制活动,从源复制到接收器(我已经尝试使用元数据和每个活动),因为我在Azure上是新手,有人可以帮助我实现一个参数文件,将在复制活动中使用。非常感谢

EN

回答 2

Stack Overflow用户

发布于 2021-02-10 11:13:21

如果是的话。我创建了简单的测试:

  1. 我有一个参数文件,其中包含稍后要复制的文件名。

  1. 在ADF中,我们可以使用Lookup activity来访问参数文件。

数据集如下:

Lookup活动的输出如下:

  1. ForEach活动中,我们应该添加dynamic content @activity('Lookup1').output.value。它将访问Lookup活动的输出数组。

  1. ForEach activity中,我们需要在source选项卡中选择Wildcard file path,并在通配符路径中添加动态content @item().Prop_0

就这样。

票数 0
EN

Stack Overflow用户

发布于 2021-02-20 12:58:08

我认为您正在询问如何循环多个文件并将所有相似文件合并到一个数据帧中,以便您可以将其推送到SQL Server Synapse中。是那么回事吗?您可以通过在相似文件的路径中放置通配符来遍历Lake中的文件。

复制活动仅选取具有定义的命名模式的文件-例如,"*2020-02-19.csv“或”?20210219.json“。

有关更多详细信息,请参阅下面的链接。

https://azure.microsoft.com/en-us/updates/data-factory-supports-wildcard-file-filter-for-copy-activity/

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/66118372

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档