Azure数据工厂
管道运行(在调试模式下)
资料来源: MSSQL (CDC已启用)
目标:雪花
每个管道运行都会对每个DB和元数据中包含的每个表进行许多活动:
RunLoadCondition中频条件
LookupCurrentDatetime查找
ChangeCountVarCDC集变量
ExtractQueryVarCDC集变量
RunLoadCDC集变量
GetChangeCountCDC查找
GetTableWatermark查找
VariableGenCTTypeSwitch开关
GetCTMetadataSwitch
有些跑步所花费的时间比它应该花费的时间多得多(超过10分钟),尽管这张桌子并不那么大。例如,有时是因为LookupCurrentDatetime占用了大部分时间。
要了解这些,我使用监视器->管道运行。但这是非常手动的,因为没有很多过滤选项,我需要每一个都去分析。
有两个问题:
发布于 2022-08-02 08:01:31
会有一种更好的监控方法来过滤那些花费最多时间的查询并在excel中获取它们的细节吗?
不幸的是,我们无法通过监视器使每个管道在一个地方的每个活动运行时。
要获得花费更多时间的活动,必须使用ADF logs
Azure数据工厂的


要开始编写查询并定位持久的Azure Data活动,您必须在Azure Data中找到Logs选项。
查询示例:
ADFActivityRun
| where Status == "Succeeded" // Pipeline is succeeded
| where datetime_diff('second', End, Start) > 120 // It took more than 120 minutes to runhttps://stackoverflow.com/questions/72955199
复制相似问题