使用逻辑应用程序从所有子(子)文件夹中获取特定文件，将其加载到SQL-Azure

Question

我对数据工厂和逻辑应用程序非常陌生(但我使用SSIS已经有很多年的经验)，

我成功地将一个包含100个文本文件的文件夹加载到SQL-Azure with DATA FACTORY中

但是文件本身是原封不动的。

现在，另一个要求是我循环遍历文件夹以获得具有特定文件扩展名的所有文件，最后我应该将所有文件从'To_be_processed‘文件夹移动(=复制和删除)到'Processed’文件夹

我找不到在哪里放“通配符”之类的东西：

例如，获取文件扩展名为.001、002、003、004、005、...until...，996,997,998,999 (千个文件) -->也搜索子文件夹。

可以从逻辑应用程序中调用数据工厂吗？(尽管这似乎没有必要)

请在此截图中找到更多详细信息：

(单击以放大)

​

提前感谢你帮我探索这项新技术！

Answer 1

有趣的情况。

我同意仅仅为了这一额外的文件处理层而使用逻辑应用程序似乎是不必要的，但是Azure Data Factory目前可能无法处理您所需要的东西……

就向Azure数据工厂数据集添加通配符而言，您在JSON类型属性块中有3个可用的属性，如下所示。

Folder Path -指定目录。它可以与用于时间片开始和结束的partition by子句一起工作。必填项。

文件名-指定文件。它也可以与用于时间片开始和结束的partition by子句一起工作。不是必需的。

文件过滤器-这是通配符可以用于单个和多个字符的地方。(*)用于多个和(?)单人的。不是必需的。

更多信息请点击此处：https://docs.microsoft.com/en-us/azure/data-factory/data-factory-onprem-file-system-connector

我必须单独地说，以上这些都不是你所需要的理想，我已经反馈给微软，我们需要一个更灵活的属性，将上面的3个值组合成1，允许在不同的地方使用通配符，并根据条件进行分区，而不仅仅是日期时间值。

这就是说。试试下面这样的方法。

"typeProperties": {
  "folderPath": "TO_BE_PROCESSED",
  "fileFilter": "17-SKO-??-MD1.*" //looks like 2 middle values in image above
  }

顺便说一句，微软已经为一个文件move活动提出了一个反馈项目，目前正在审查中。

查看此处：https://feedback.azure.com/forums/270578-data-factory/suggestions/13427742-move-activity

希望这能有所帮助

Answer 2

我们使用了一个通过“应用程序服务”-> webjobs调用的C#应用程序。更容易遍历文件夹。为了调用SQL，我们使用了sql bulkinsert