我有一个将数据从Blob复制到Azure data Lake的复制活动。Blob由具有事件中心触发器的Azure函数填充。Blob文件附加有UNIX时间戳,这是事件中心中的事件入队时间。Azure数据工厂每小时触发一次,以合并文件并将其移动到数据湖。

在源数据集中,我有按UTC时间中的上次修改日期进行筛选的功能。我可以使用它,但它限制我在blob中使用Last modified date。我想使用我自己的日期过滤器,并决定我想要在哪里应用这些过滤器。在数据工厂中这是可能的吗?如果是的话,你能给我指出正确的方向吗?

发布于 2019-03-27 14:32:55
无论如何,对于ADF来说,我脑海中出现的唯一想法是使用Look Up Activity,ForEach Activity和Filter Activity.Maybe的组合,这有点复杂。
1.使用Look从blob文件中检索数据。
2.使用ForEach Activity循环结果并设置数据时间过滤器。
3.在ForEach活动中,执行复制任务。
请参考此blog获取一些线索。
回顾你现在所做的所有任务的描述,我建议你对Azure Stream Analytics Service有一个概念。无论数据源是Event Hub还是Azure Blob Storage,ASA都会将它们作为input进行支持。并且它支持ADL as output。
您可以创建一个作业来配置输入和输出,然后使用流行的SQL language来过滤您的数据,无论您want.Such为Where operator还是DataTime Functions。
https://stackoverflow.com/questions/55345988
复制相似问题