我在Azure blob存储中有3个文件,我想一个接一个地挑选文件来进行架构验证,我是否可以知道我应该在azure数据工厂中使用哪个正则表达式,以及在架构验证文件应该放置在数据湖中之后
注意:文件名中只有日期会改变,其余部分将保持不变
L_07523_ARD_01072021
K_08963_FEBI_02082021
J_08427_LTRD_04062021
发布于 2021-08-27 08:33:05
在source dataset 中,创建一个dataset参数以动态传递文件名。

使用Get Metadata活动获取源文件夹中的文件列表。如果要提取特定的格式化文件,可以在“数据集属性”下的文件名中提及该格式。
在field list property下,选择子项,这将获取给定文件夹中的文件列表。返回值是每个子项(文件)的名称和类型列表。

Get Metadata的输出:

将Get Metadata的输出连接到ForEach环路。
在ForEach设置中,启用顺序属性。它指定循环是应该顺序执行还是并行执行。
在items属性中,动态添加值以传递Get Metadata中的子项。
@activity('Get Metadata1').output.childItems

内部Foreach循环活动
当您选择dataflow/copy activity并选择source时,它将要求在dataset properties下提供dataset filename。这里提供了Foreach循环的当前项。
由于我们需要来自Get Metadata活动的子项的唯一Name值,因此将name添加到该项并在需要时将其转换为string。
@string(item().name)

当管道执行时,Foreach循环的活动被执行3次,每个文件一次,因为我们在源代码中有3个文件。

https://stackoverflow.com/questions/68936996
复制相似问题