如何以100%防冲突的方式将url存储为唯一索引？

Question

我希望能够使一个大的mysql INSERT忽略插入时，网址已经存在于数据库中。这将通过ON DUPLICATE KEY完成。

但为此，我需要使url列成为唯一索引。

为此，我创建了一个名为url_hash的新列，其中存储了url的MD5散列版本，并使该列唯一。

唯一的问题是，在这样做之后，我想到了MD5是如何工作的。我意识到它不可能是100%防碰撞的。散列不能100%保证是唯一的。即使风险很小，它也会发生碰撞。

这让我开始思考这是否真的是最好的方法。将散列值作为用于此目的的唯一关键字。

Answer 1

除非您按原样存储url，否则可能没有100%的验证方法，但您可以通过添加额外的索引列来获得更接近100%的验证。例如，您可以存储url的长度或使用不同的散列函数创建的第二个散列。