我在10000+字符串周围,必须识别和分组所有看起来类似的字符串(我基于任意两个给定字符串之间的公共单词数)。普通单词越多,字符串就越相似。例如:
在这种情况下,字符串1和3与现有的常用单词相似,层和2和4与通用单词网络驱动器相似(消除停止字)
我要遵循的步骤是:
我正在C#中实现这个项目,直到第三步。但是,我不知道如何进行集群。我对字符串聚类进行了大量的研究,但没有找到适合我的问题的解决方案。您的意见将不胜感激。
发布于 2015-09-19 08:47:58
一种可用于对多维数值数据进行聚类的技术是Kohonen自组织特征映射。在这里描述它有点过于复杂,但是应该包含在任何初学者关于机器学习的水平文本中。
这就只剩下如何将数据转换为数字形式的问题了。要做到这一点,我首先要进行一次分析,以找到出现在许多字符串中但不太多的单词的合理数目(例如100)。你在频率分布的中间寻找单词,因为这些词携带着最有用的信息。然后,您可以使用这些单词的存在或不存在作为您的功能地图的输入。
发布于 2015-08-19 19:23:08
与此类似,我和问题/回答在过去都使用过c#算法,它的工作原理就像一种魅力,下面是链接答案中的算法:
public class SimilarityTool
{
public double CompareStrings(string str1, string str2)
{
List<string> pairs1 = WordLetterPairs(str1.ToUpper());
List<string> pairs2 = WordLetterPairs(str2.ToUpper());
int intersection = 0;
int union = pairs1.Count + pairs2.Count;
for (int i = 0; i < pairs1.Count; i++)
{
for (int j = 0; j < pairs2.Count; j++)
{
if (pairs1[i] == pairs2[j])
{
intersection++;
pairs2.RemoveAt(j);//Must remove the match to prevent "GGGG" from appearing to match "GG" with 100% success
break;
}
}
}
return (2.0 * intersection) / union;
}https://softwareengineering.stackexchange.com/questions/202870
复制相似问题