使用nltk实现idf

Question

假设有这样一句话：“敏捷的棕色狐狸跳过懒狗”，我想从nltk语料库(哪个语料库最通用/最全面)中获得每个单词出现频率的分数。

编辑：

这个问题与这个问题有关：python nltk keyword extraction from sentence @adi92建议使用idf技术来计算单词的“稀有度”。我想看看这在实践中会是什么样子。这里更广泛的问题是，如何计算一个单词在英语中使用的稀缺性。我知道这是一个很难解决的问题，但尽管如此，nltk idf (使用brown或reuters语料库？？)可能会让我们走上这条路的一部分？

Answer 1

如果你想知道词频，你需要一个词频表。根据文本类型，单词具有不同的频率，因此最佳频率表可能基于特定领域的语料库。

如果您只是在胡闹，那么可以很容易地随机选择一个语料库并计算单词--使用<corpus>.words()和NLTK的FreqDist，和/或查看NLTK书籍以获取详细信息。

但如果要认真使用，请不要费心自己计算单词:如果您对某个特定领域不感兴趣，可以抓取一个大的词频表。有数不胜数的数据(这显然是语料库创建者首先想到的)，其中最大的可能是google汇编的"1-gram“表。您可以在http://books.google.com/ngrams/datasets上下载它们