如何删除重复行但在SSIS中记录重复行

Question

我从删除SSIS数据流中的重复项学习了如何使用排序转换来删除具有重复数据值的行。

在我的例子中，我正在读取一个分隔的文件，需要删除重复的文件，并记录具有重复键的行。我需要将这些行输出到另一个分隔文件，并将其发送回客户，以便它们可以更正数据并再试一次。

不过，我不太清楚该怎么做。我将尝试聚合和合并连接，但我希望有一个已知的模式这样做。

Answer 1

嗨，我的答案将适用于任何数据，因为互联网上的一些解决方案需要行的主键，我的解决方案主键不需要。在这里，示例结构和样本数据集：

a   b
1   23
1   23
16  59
12  12
13  45
12  12
45  56

​

​

只需按所有列分组并添加最后一列- count all (如果有两个以上的列，只需在“聚合”元素中放置所有列，并在最后按并在put“全部计数”列中设置组)：

​

​

然后，只需添加条件拆分元素，并接受所有同一行多于1行的行：

​

​

实际例子：

​

​

Answer 2

我使用在我的博客上浏览几个选项从数据流中删除重复项，并使用这里有个小小的脚注介绍如何“保存”重复行以供备用处理。

Answer 3

可能通过脚本编写.

首先，您将以编程的方式使用脚本迭代数据集和标识重复的项。然后，您可以将条目写入日志文件中，以查找所找到的欺骗项。。