首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >Azure数据工厂-管道运行缓慢监视

问Azure数据工厂-管道运行缓慢监视
EN

Stack Overflow用户
提问于 2022-07-12 16:00:00
回答 1查看 168关注 0票数 0

Azure数据工厂

管道运行(在调试模式下)

资料来源: MSSQL (CDC已启用)

目标:雪花

每个管道运行都会对每个DB和元数据中包含的每个表进行许多活动:

RunLoadCondition中频条件

LookupCurrentDatetime查找

ChangeCountVarCDC集变量

ExtractQueryVarCDC集变量

RunLoadCDC集变量

GetChangeCountCDC查找

GetTableWatermark查找

VariableGenCTTypeSwitch开关

GetCTMetadataSwitch

有些跑步所花费的时间比它应该花费的时间多得多(超过10分钟),尽管这张桌子并不那么大。例如,有时是因为LookupCurrentDatetime占用了大部分时间。

要了解这些,我使用监视器->管道运行。但这是非常手动的,因为没有很多过滤选项,我需要每一个都去分析。

有两个问题:

  1. 会有一种更好的监控方法来过滤那些花费最多时间并在excel中获取查询细节的查询吗?
  2. 是否遇到过这种情况?我能采取什么措施来解决这个问题吗?
EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2022-08-02 08:01:31

会有一种更好的监控方法来过滤那些花费最多时间的查询并在excel中获取它们的细节吗?

不幸的是,我们无法通过监视器使每个管道在一个地方的每个活动运行时。

要获得花费更多时间的活动,必须使用ADF logs

Azure数据工厂的

  • 启用Azure日志分析ADF监视>>诊断设置>>添加诊断

​

​

  • 配置诊断设置

​

​

要开始编写查询并定位持久的Azure Data活动,您必须在Azure Data中找到Logs选项。

查询示例:

代码语言:javascript
复制
ADFActivityRun  
| where Status == "Succeeded" // Pipeline is succeeded
| where datetime_diff('second', End, Start) > 120 // It took more than 120 minutes to run
票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/72955199

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档