我正在编写SSIS包,以便将数据从*.csv文件导入到SQL2008DB。问题是其中一个文件包含csv文件中的重复记录,而我只想从该源中提取不同的值。请看下面的图片。

不幸的是,生成的文件不在我的控制之下,它归第三方所有,我无法更改它们生成的方式。
我确实使用了LookUp组件。但它只根据传入数据检查现有数据。它不检查传入数据中的重复记录。
发布于 2011-03-29 03:49:42
这取决于您对副本的重视程度。您是否需要复制内容的记录,或者只需删除它们就足够了?排序组件将去掉排序字段中的dup。但是,dups在其他字段中可能具有不同的数据,因此您需要不同的策略。通常,我会将所有内容加载到临时表中,并从那里进行清理。我将删除的副本发送到异常表(我们必须回答客户提出的许多问题,即为什么东西与他们发送的内容不匹配),并且我经常使用一组业务规则(并使用执行SQl或数据流任务来执行规则)来确定在一个区域中有重复而在另一个区域中没有重复时(例如,当我们只能存储1时,选择两个业务地址)。我还确保客户知道我们如何确定选择两个中的哪一个。
发布于 2011-03-29 03:33:32
我相信排序组件提供了一个删除重复行的选项。
发布于 2014-07-15 17:21:58
在工具箱中使用排序工具,然后单击它。您将获得所有可用的输入列。检查列并更改sortType方向,然后选中“删除具有重复排序值的行”。
https://stackoverflow.com/questions/5464014
复制相似问题