我正在寻找一个好的方法来提取网页上的文字使用SQL或C#相关的关键字。我打算使用此链接将这些关键字链接到网站的其他部分,以导航到一些博客中似乎相当常见的相关content.This。
发布于 2011-02-13 23:43:10
一种简单的方法可能是使用C#下载到存储器中,过滤掉HTML标签、Javascript等(即识别真实内容),将其分解成单独的单词,过滤在任何通用书面文档中出现频率较高的单词列表,计算每个单词在文档中出现的频率,将出现次数最多的单词作为关键字。
随着时间的推移,你需要开发你的过滤单词列表。
根据你的领域,相反的方式可能更合适,建立一个领域特定的关键字列表(或关键字组,这样“安全带”和“安全带”等将被识别为同一个词),并找出每个单词或词组在给定文档中出现的次数。那些高于某个阈值,或前5名或其他什么,将是与该文档关联的关键字。
发布于 2012-02-25 23:40:14
在How do I extract keywords used in text?上,对于这个问题的更一般版本,Joseph Turian提供了一个很好的信息性答案
https://stackoverflow.com/questions/4984820
复制相似问题