首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >基于公共子字符串的字符串聚类

问基于公共子字符串的字符串聚类
EN

Software Engineering用户
提问于 2013-06-26 21:20:35
回答 2查看 2.5K关注 0票数 6

我在10000+字符串周围,必须识别和分组所有看起来类似的字符串(我基于任意两个给定字符串之间的公共单词数)。普通单词越多,字符串就越相似。例如:

  1. 如何从现有层生成另一层
  2. 无法编辑网络驱动器上的数据
  3. 桌面中的现有层
  4. 协助网络驱动器

在这种情况下,字符串1和3与现有的常用单词相似,层和2和4与通用单词网络驱动器相似(消除停止字)

我要遵循的步骤是:

  1. 遍历数据集
  2. 逐行比较
  3. 查找字符串之间的常用单词
  4. 形成一个集合,其中公共单词的数量大于或等于2(消除停止词)
  5. 如果公共words<2的数量,将字符串放入新的集群中。
  6. 将行分配给现有的集群或根据常用的单词形成一个新的集群。
  7. 继续,直到处理完所有字符串为止。

我正在C#中实现这个项目,直到第三步。但是,我不知道如何进行集群。我对字符串聚类进行了大量的研究,但没有找到适合我的问题的解决方案。您的意见将不胜感激。

EN

回答 2

Software Engineering用户

发布于 2015-09-19 08:47:58

一种可用于对多维数值数据进行聚类的技术是Kohonen自组织特征映射。在这里描述它有点过于复杂,但是应该包含在任何初学者关于机器学习的水平文本中。

这就只剩下如何将数据转换为数字形式的问题了。要做到这一点,我首先要进行一次分析,以找到出现在许多字符串中但不太多的单词的合理数目(例如100)。你在频率分布的中间寻找单词,因为这些词携带着最有用的信息。然后,您可以使用这些单词的存在或不存在作为您的功能地图的输入。

票数 1
EN

Software Engineering用户

发布于 2015-08-19 19:23:08

与此类似,我和问题/回答在过去都使用过c#算法,它的工作原理就像一种魅力,下面是链接答案中的算法:

代码语言:javascript
复制
public class SimilarityTool
{
    public double CompareStrings(string str1, string str2)
    {
        List<string> pairs1 = WordLetterPairs(str1.ToUpper());
        List<string> pairs2 = WordLetterPairs(str2.ToUpper());

        int intersection = 0;
        int union = pairs1.Count + pairs2.Count;

        for (int i = 0; i < pairs1.Count; i++)
        {
            for (int j = 0; j < pairs2.Count; j++)
            {
                if (pairs1[i] == pairs2[j])
                {
                    intersection++;
                    pairs2.RemoveAt(j);//Must remove the match to prevent "GGGG" from appearing to match "GG" with 100% success

                    break;
                }
            }
        }

        return (2.0 * intersection) / union;
    }
票数 -1
EN
页面原文内容由Software Engineering提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://softwareengineering.stackexchange.com/questions/202870

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档