基于频率分布的返回文章- Python NLTK

Question

有人知道使用Python和NLTK来获取最接近搜索查询的文章的简单方法吗？例如，我想从维基百科中提取10篇文章，找出每篇文章的频率分布(如果您有任何推荐的话，还有另一种分类方法)，然后根据搜索查询，返回您可能引用的最有可能的文章。

有什么想法吗？我想要一种比频率分布更好的方法，但我想我应该从那里开始。

Answer 1

Rocchio的算法，又名TFxIDF，又名tf-idf，又名tfidf，甚至tf/idf (原文如此)几乎是标准的解决方案。您计算整个文档集的词频，然后将词权重表示为文档的词频除以总频率计数，而不是纯频率。这样，你就不需要停用词了，因为一个常用词的IDF会使它的权重接近于零。