消除数据清理中的重复记录

Question

我有一个数据库的人的记录与简单的信息，如名字，姓氏，电子邮件，地点，.。我需要消除重复的记录。正如我搜索的那样，这个过程被称为“数据清洗中的重复消除”。有人知道一个很好的开源工具吗？

Answer 1

使用Table & PL/SQL，您可以使用ROW_NUMBER() OVER (分区)查找和删除表中的重复记录。

请参考一些最好的示例从服务器中的表中删除重复项和如何删除重复行？以及“划分_数字关键字甲骨文”按“和”行“

Answer 2

对于PostgreSQL，您可以使用一个“简单”的SQL语句来实现它，该语句可以应用于其他很少或根本没有调整的SQL数据库：

http://wiki.postgresql.org/wiki/Deleting_复本

请注意，它删除所有具有较高ID的条目，最好知道.

DELETE FROM tablename
WHERE id IN (SELECT id
  FROM (SELECT id,
         row_number() over (partition BY column1, column2, column3 ORDER BY id) AS rnum
         FROM tablename) t
  WHERE t.rnum > 1);

Answer 3

我们用来删除数据库中重复记录(Access)的工具是WinPure清洁与匹配，我认为它们也为模糊匹配做了一个API。