首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >在复制活动中筛选blob数据

问在复制活动中筛选blob数据
EN

Stack Overflow用户
提问于 2019-03-26 04:32:54
回答 1查看 993关注 0票数 2

我有一个将数据从Blob复制到Azure data Lake的复制活动。Blob由具有事件中心触发器的Azure函数填充。Blob文件附加有UNIX时间戳,这是事件中心中的事件入队时间。Azure数据工厂每小时触发一次,以合并文件并将其移动到数据湖。

​

​

在源数据集中,我有按UTC时间中的上次修改日期进行筛选的功能。我可以使用它,但它限制我在blob中使用Last modified date。我想使用我自己的日期过滤器,并决定我想要在哪里应用这些过滤器。在数据工厂中这是可能的吗?如果是的话,你能给我指出正确的方向吗?

​

​

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2019-03-27 14:32:55

无论如何,对于ADF来说,我脑海中出现的唯一想法是使用Look Up Activity,ForEach Activity和Filter Activity.Maybe的组合,这有点复杂。

1.使用Look从blob文件中检索数据。

2.使用ForEach Activity循环结果并设置数据时间过滤器。

3.在ForEach活动中,执行复制任务。

请参考此blog获取一些线索。

回顾你现在所做的所有任务的描述,我建议你对Azure Stream Analytics Service有一个概念。无论数据源是Event Hub还是Azure Blob Storage,ASA都会将它们作为input进行支持。并且它支持ADL as output。

您可以创建一个作业来配置输入和输出,然后使用流行的SQL language来过滤您的数据,无论您want.Such为Where operator还是DataTime Functions。

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/55345988

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档