首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >Azure数据工厂管道中的批处理

问Azure数据工厂管道中的批处理
EN

Stack Overflow用户
提问于 2021-12-01 06:35:52
回答 2查看 128关注 0票数 1

我是ADF管道的新手。我想从本地loc读取文件,并以特定大小(2 GB)批量复制到ADLS。例如,如果有200个文件,它将读取所有文件,并按顺序将这组文件(< 2 2GB)传递到下一个进程/管道。那么,如何在ADF中添加文件的大小呢?

EN

回答 2

Stack Overflow用户

发布于 2021-12-01 07:15:26

您需要添加一个If条件活动(在活动中搜索If条件)。然后,您需要获取要检查的文件的元数据。在元数据中,您将获得文件的大小。

Reference Link to Get Metadata

获得元数据后,您可以根据文件大小条件添加批处理活动。

票数 1
EN

Stack Overflow用户

发布于 2021-12-03 15:13:12

您可以通过多次调用get Metadata活动来获取文件大小,并且有一个很好的示例here来说明如何做到这一点。使用Child Items字段时,Get Metadata活动不返回文件大小。如果您指定一个单独的文件,则可以获取Size。对于本地或云数据源,其他一些可能的方法,例如自定义活动-例如运行一些批处理命令,Web活动-例如调用存储api,Notebook -例如运行一些python。

另一种方法是使用拷贝活动的Max rows per file选项:

​

​

对于给定表,您可以指定每个文件的最大行数,这将近似于2 2GB的文件大小,因此使用不同的方法但结果相同。

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/70179996

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档