我是ADF管道的新手。我想从本地loc读取文件,并以特定大小(2 GB)批量复制到ADLS。例如,如果有200个文件,它将读取所有文件,并按顺序将这组文件(< 2 2GB)传递到下一个进程/管道。那么,如何在ADF中添加文件的大小呢?
发布于 2021-12-01 07:15:26
您需要添加一个If条件活动(在活动中搜索If条件)。然后,您需要获取要检查的文件的元数据。在元数据中,您将获得文件的大小。
Reference Link to Get Metadata
获得元数据后,您可以根据文件大小条件添加批处理活动。
发布于 2021-12-03 15:13:12
您可以通过多次调用get Metadata活动来获取文件大小,并且有一个很好的示例here来说明如何做到这一点。使用Child Items字段时,Get Metadata活动不返回文件大小。如果您指定一个单独的文件,则可以获取Size。对于本地或云数据源,其他一些可能的方法,例如自定义活动-例如运行一些批处理命令,Web活动-例如调用存储api,Notebook -例如运行一些python。
另一种方法是使用拷贝活动的Max rows per file选项:

对于给定表,您可以指定每个文件的最大行数,这将近似于2 2GB的文件大小,因此使用不同的方法但结果相同。
https://stackoverflow.com/questions/70179996
复制相似问题