如何删除包含2000万行数据集的MySQL中的重复项？

Question

我有很大的MySQL数据库。我需要快速删除重复的项目。以下是它的外观：

id | text1 | text2|    
1  | 23    |  43  |   
2  | 23    |  44  |  
3  | 23    |  44  |

删除后，表的剩余部分应为：

id | text1 | text2|   
1  | 23    |  43  |   
3  | 23    |  44  |

我不在乎身份证。最重要的是没有重复的项目会消失。

Answer 1

你可以试试这个：

ALTER IGNORE TABLE my_tablename ADD UNIQUE INDEX idx_name (text1 , text2);

ie，尝试将UNIQUE INDEX添加到您的列中，并对表进行alter

这有一个优点，将来也不会有重复的行可以插入到表中。

Answer 2

DELETE FROM t WHERE id NOT IN
(SELECT MIN(id) FROM t GROUP BY text1, text2)

Answer 3

运行以下命令：

SELECT COUNT(*), text1, text2
GROUP BY text1, text2
HAVING COUNT(*) > 1;

当您在这里找到行时，为每个匹配删除一行，然后再运行它。

我不知道它在性能方面会是什么样子--如果你离线的话，也许没什么关系？