如何提高Azure数据工厂日志存储过程的执行时间？

Question

我有一个ADF解决方案，它是元数据驱动的。它传递一个连接字符串，源和接收器作为参数。我担心的是，我在管道和子管道中也有SQL日志记录步骤，现在对于一个简单的Azure DB表拷贝到ADSL Parquet，它受到日志记录步骤和子管道的瓶颈。我注意到每个步骤(主要是日志记录步骤)大约需要3-6秒。

我尝试了以下几点：

• 将配置数据库从basic升级到S1
• 将ADF的集成运行时更改为32核心计数
• 将TTL更改为20分钟
• 检查了快速缓存

似乎没有什么能减少运行这些审计步骤的时间。

审核步骤是一个存储过程，在加载的参数中传递。这个proc在SSMS中只在几秒钟内运行，所以proc不是问题。

有没有任何方法可以减少执行日志记录步骤的时间？

Answer 1

根据ADF的Microsoft SLA，它们保证至少99.9%的时间，所有活动的运行都将在计划执行时间的4分钟内启动。

来自Product，任何在4分钟内执行的存储过程活动都满足了ADF中的SLA --此SLA涵盖了ADF与server通信的开销。尽管如此，您当前在ADF中的性能是正常的。

检查所支持的文档：

1. 2/
2. https://learn.microsoft.com/en-us/answers/questions/36323/adf-performance-troubleshooting.html

Answer 2

我倾向于认为在管道中加入过多的日志是一种反模式，因为它会导致更复杂的管道，需要维护更多的组件。您还可能遇到这种类型的问题，特别是当您正在为每个活动在a中运行日志记录时。我倾向于谨慎地使用这一点，并将更多精力放在构建日志和使用自定义用户属性和注释上。您需要的大部分信息应该在内置日志中，您可以在管道的末尾或者其他地方通过API调用获取这些信息，正如这里和这里所描述的那样。

您可以做的另一件事是将任何非关键任务移动到并行运行。例如，“活动的日志启动”任务不一定需要首先按顺序运行。考虑将其中一些任务非并行化，如下图所解释的那样。显然，当您需要从要日志的活动中捕获信息时，并不适用于：

​

​