我是ADF的新手,正在尝试构建Azure数据流管道。我正在从雪花数据源中读取数据,并根据几个业务规则检查数据。每次检查后,我都会将不良记录写入csv文件。现在,我的要求是,我需要创建一个日志表,它显示业务规则和未能传递该特定业务规则的记录数。我附上了ADF数据流的屏幕截图,以及我试图填充的表的结构。
我的想法是创建一个存储的proc,在每个业务规则的末尾调用它,以便在数据库中创建一个记录。但是,我无法从数据流中添加SP。我发现可以从管道中将行写入接收器。但是,我不知道如何将接收器名称和写在一起的行绑定在一起,并为所有业务规则迭代存储过程?
发布于 2022-10-03 06:23:37
我考虑过sink1和sink2分别在数据流活动中存储违反业务规则1和rule2的数据。我已经创建了一个存储过程,用于记录业务规则和日志文件中的失败计数。然后使用执行存储过程,在ADF中使用活动,并在日志文件中插入记录。下面是步骤。
CREATE TABLE [dbo].[log_file](
[BusinessRule] [varchar](50) NULL,--Business Rule
[count] [varchar](50) NULL--failed rows count
) ON [PRIMARY]
GOCreate proc [dbo].[usp_insert_log_file] (@BusinessRule varchar(100),@count varchar(10))
as
begin
insert into log_file values (@BusinessRule,@count)
end-Dataflow活动有两个接收器。它与执行存储过程活动链接在一起。

'Business_Rule_1'计数:
@string(activity('Data flow1').output.runStatus.metrics.sink1.rowsWritten)`

BusinessRule: 'Business_Rule_2' Count:
@string(activity('Data flow1').output.runStatus.metrics.sink2.rowsWritten)

通过这种方式,我们可以使用exec存储过程活动将数据插入到数据流活动的日志文件中。

https://stackoverflow.com/questions/73894379
复制相似问题