首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >Azure数据工厂的自定义日志记录

问Azure数据工厂的自定义日志记录
EN

Stack Overflow用户
提问于 2022-09-29 10:57:20
回答 1查看 127关注 0票数 0

我是ADF的新手,正在尝试构建Azure数据流管道。我正在从雪花数据源中读取数据,并根据几个业务规则检查数据。每次检查后,我都会将不良记录写入csv文件。现在,我的要求是,我需要创建一个日志表,它显示业务规则和未能传递该特定业务规则的记录数。我附上了ADF数据流的屏幕截图,以及我试图填充的表的结构。

我的想法是创建一个存储的proc,在每个业务规则的末尾调用它,以便在数据库中创建一个记录。但是,我无法从数据流中添加SP。我发现可以从管道中将行写入接收器。但是,我不知道如何将接收器名称和写在一起的行绑定在一起,并为所有业务规则迭代存储过程?

关于我的数据流的快照

我想填充的列

EN

回答 1

Stack Overflow用户

发布于 2022-10-03 06:23:37

我考虑过sink1和sink2分别在数据流活动中存储违反业务规则1和rule2的数据。我已经创建了一个存储过程,用于记录业务规则和日志文件中的失败计数。然后使用执行存储过程,在ADF中使用活动,并在日志文件中插入记录。下面是步骤。

  • 日志文件的表。
代码语言:javascript
复制
CREATE TABLE [dbo].[log_file](
    [BusinessRule] [varchar](50) NULL,--Business Rule
    [count] [varchar](50) NULL--failed rows count
) ON [PRIMARY]
GO
  • 通过数据工厂在日志文件中插入记录的存储过程。
代码语言:javascript
复制
Create proc [dbo].[usp_insert_log_file] (@BusinessRule varchar(100),@count varchar(10))
as
begin
insert into log_file values (@BusinessRule,@count)
end

-Dataflow活动有两个接收器。它与执行存储过程活动链接在一起。

​

​

  • 存储过程有两个参数,分别在business_rule参数和count参数中输入业务规则,
  • 在存储过程1中,在sink1字段中输入对应的BusinessRule业务规则,对于count字段,从数据流活动的输出中传递sink1 1的rowsWritten值。BusinessRule: 'Business_Rule_1'

计数:

代码语言:javascript
复制
@string(activity('Data flow1').output.runStatus.metrics.sink1.rowsWritten)`

​

​

  • 类似地,在存储的Procedure2活动中,传递sink2计数值并在参数中输入相应的业务规则。

BusinessRule: 'Business_Rule_2' Count:

代码语言:javascript
复制
@string(activity('Data flow1').output.runStatus.metrics.sink2.rowsWritten)

​

​

通过这种方式,我们可以使用exec存储过程活动将数据插入到数据流活动的日志文件中。

​

​

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/73894379

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档