我有两个数据库a和b,其中有科学论文的标题。我想将这些数据库合并到一个数据库c中。
b.
a包含的标题可能不在b中,反之亦然。a和a都有可能字母和标点符号的大小写不匹配:的k均值算法
首先,我想在MySQL中使用levenstein距离函数来匹配两个数据库中相同的标题,但是看看数百万行,我不知道这样做是否足够好。然后,我想到了一个全文搜索来匹配标题,但据我所知,全文搜索不匹配普通单词,所以匹配对类似的标题,实际上是不同的表现不好。
因此,我不需要100 %的匹配程序。但我想要尽可能高的费率。有什么建议吗?
发布于 2011-08-06 18:16:02
想到的一个想法是创建一个包含文本的搜索列,其中没有标点符号和小写,并对其进行比较。
如果您正在使用与mySQL相关的其他语言或平台,那么在那里进行规范化可能是最简单的--我想不出一个本机mySQL函数可以去掉标点符号等等。这当然是可能的,但可能只使用一组非常复杂的REPLACE()调用。
https://stackoverflow.com/questions/6968560
复制相似问题