使用哈希函数删除重复的内容/文本

Question

我有一个网站有很多内容，我正在努力消除重复。为此，我需要比较两个字符串，并检查它们的匹配百分比。我使用的是ruby simhash gem：https://github.com/bookmate/simhash

gem接受一个字符串并返回一个整数散列。我不确定如何比较这两个散列。

X = 'King Gillette'.simhash(:split_by => //)

y = 'King Camp Gillette'.simhash(:split_by => //) 

X >> 13716569836

y >> 13809628900

我可以先取差额，再取百分比吗？这是否表明了字符串之间的差异？

Answer 1

如果你想删除那些重复的字符串，或者你想要字符串之间的差异，如果我做对了，那么很简单，你可以这样做……

>>a1='King Gillette'.split(" ")  
>>=> ["King", "Gillette"]  
>>a2='King Camp Gillette'.split(" ")  
>>=> ["King", "Camp", "Gillette"]  
>> a2-a1  
>>["Camp"]