首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >ADF每日切片再加工3次

ADF每日切片再加工3次
EN

Stack Overflow用户
提问于 2017-07-24 09:23:39
回答 1查看 343关注 0票数 1

我有一个复杂的ADF管道,其中包含基于切片的调度,其中slice = day。现在它的作用是这样的:

Day1,Day2,Day3,.,PreviousDay,CurrentDay

在CurrentDay的上午00:00,它重新处理PreviousDay。所以今天我只计算了前一天的数据。

我需要改变时间表,让它像这样工作:

1)切片大小应保持不变=日

2) CurrentDay的重新处理应该每天触发4次,以模拟结果刷新(有点运行总数)。

我想保留相同的切片大小=1天的原因,因为它是底层表的分区大小。我不想让它们小到几个小时,因为它对目前的数据量来说毫无意义。

无法意识到如何避免将切片大小更改为几个小时,从而实现这个目标。如何强制今天重新处理?任何想法对我都有帮助。

谢谢。

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2017-07-27 12:37:21

这样做的方法是进行2次更改:

  1. 将可用性设置为StartOfInterval,从而运行CurrentDay而不是PreviousDay。数据集可用性和策略
  2. 将活动的日程设置为每小时8次(因此每天运行4次)(更多信息请参见data-factory-scheduling-and-execution#specify-schedule-for-an-activity )活动和输出应该有匹配的切片,这可以用下面的描述来修正。

由于输入( day :1)和活动(Hour:8)的切片不同,您需要在活动中为输入设置两个额外的参数,将切片从8小时更改为1天,从而匹配输入。执行基于输出片。这一点在这里有进一步的解释:https://learn.microsoft.com/en-us/azure/data-factory/data-factory-scheduling-and-execution#model-datasets-with-different-frequencies活动和输出切片也有不同的切片,可以用相同的方法固定。

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/45276819

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档