性能调谐ETL

Question

我管理一个运行在Server 2016上的数据仓库。该datawarehouse的ETL处理大部分是在夜间加载期间完成的，除了几个SSIS包一整天运行，然后是SSAS处理之后，所以当我早上到达时，没有任何活动的监视可以执行。

这种夜间加载的处理过程会波动，有时会超出预期，但在当前的监视设置中，除了每30分钟加载一次表中的sp_whoisactive之外，没有其他任何其他方法，因此很难尝试对此过程进行优化。我显然可以查看计划缓存，但由于夜间ETL大约需要6小时，计划缓存并不能保存晚上使用的所有计划。

有没有人遇到过任何性能监视/日志记录工具，成本越低越好，它们在试图调查和调优这样的夜间负载时是有用的吗？我最感兴趣的是查找信息，以帮助优化索引或查看何时/何处存在CPU或内存瓶颈。

Answer 1

对于SSIS，您可以实现包上的日志记录。开始查看的一个好地方是包中组件的ProcessInput和PrimeOutput步骤。PipelineComponentTime事件将有助于检查这些步骤，因为它记录每个步骤所花费的时间。您可以阅读有关SSIS 这里日志记录的更多信息。

对于SSAS，您可以在处理过程中使用扩展事件来监视性能。ProgressReportEnd和ResourceUsage事件是您可能希望在多维数据集处理期间检查的两个事件，以及RequestProcessBegin和RequestProcessEnd事件。此链接将进一步概述扩展事件在SSAS中的使用。