Azure数据工厂和日志分析

Question

我想在ADF中对我的输入数据执行一些验证检查，并且任何验证失败都想要捕获到Azure日志分析中。

谁能指导我如何通过Azure Data Factory将自定义日志捕获到日志分析中。

任何示例数据流/流水线都会非常有帮助。

谢谢，库马尔

Answer 1

如果我理解正确的话，您希望能够获取ADF的Azure监视器日志并查询/存储这些日志吗？

好消息是，你想看到的大多数信息已经通过Azure Monitor收集到了。

获取信息的简单方法之一是使用Azure Monitor REST API。然后，您可以将响应存储到文件或表中，或者您可以仅查询api以获取特定的管道或触发器等。

以下是授权和使用Azure Monitor API的示例的链接：https://docs.microsoft.com/en-us/azure/azure-monitor/essentials/rest-api-walkthrough#authenticating-azure-monitor-requests

以下是使用Azure监视器REST API获取活动运行数据的HTTP URL示例(动态内容语法)：

@{concat('https://management.azure.com/subscriptions/', linkedService().SubscriptionID, '/resourceGroups/', linkedService().ResourceGroupName, '/providers/Microsoft.DataFactory/factories/', linkedService().DataFactoryName, '/pipelineruns/', linkedService().RunID, '/queryActivityruns?api-version=2018-06-01')}

以下是可以从Azure Monitor中提取的所有不同的ADF指标：https://docs.microsoft.com/en-us/azure/data-factory/monitor-using-azure-monitor#data-factory-metrics

以下是ADF中可用于调用REST api的rest链接服务的示例：

​

然后，您可以创建一个dataset，它将所有值传递给链接的服务，以便您可以调用API，并将响应复制到DB，如下所示：

​

这个特定的示例是获取特定管道RunID的状态，但它可以比这更广泛。下面是请求正文的样子，这样我就可以在最后一天过滤出失败的管道：

​