是否有BigramTagger工作所需的最小数据大小？

Question

我正在nltk库中学习BigramTagger类。我用nltk附带的棕色语料库来训练一个“部分句子”标签。

我注意到，如果我对这个语料库进行训练，然后在语料库的第一句中标注几个单词，它就会非常有效。

from nltk.corpus import brown
from nltk.tag import BigramTagger 
from nltk import word_tokenize

# Works completely fine:
brown_train = brown.tagged_sents(categories='news')
bigram_tagger = BigramTagger(brown_train)
print(bigram_tagger.tag(word_tokenize("that any irregularities took place")))

我们得到了预期的输出：

(“那”，“CS”)，(“任何”，“DTI”)，(“不规则”，“NNS”)，(“拿走”，“VBD”)，(“place”，“NN”)

但如果我只训练100句，那就失败了。

# Fails to work: 
brown_train = brown.tagged_sents(categories='news')[:100]
bigram_tagger = BigramTagger(brown_train)
print(bigram_tagger.tag(word_tokenize("that any irregularities took place")))

它不能标记这些单词，因此它给它们添加了None标签：

(那个，没有)，(‘任何’，没有)，(‘违规’，没有)，(‘拿走’，没有)，(‘地点’，没有)

是否有课堂要求的最低语料库？或者我忘记了其他一些参数，使得模型在第二种情况下失败了？

我看过这里的文档：http://www.nltk.org/api/nltk.tag.html#nltk.tag.sequential.BigramTagger，它看起来有一个截止参数，但默认设置为0。

Answer 1

这是个有趣的问题。看起来，您正在使用培训数据测试taggers，但是有一个关键的区别:由于您使用的是第一句的_a片段*，它的第一个单词是在与培训中使用的不同的上下文中显示的。对你的问题的简短回答是，这不是语料库的大小，而是是否在培训中看到了相关的上下文。具有较短的训练数据，第一个单词从未出现在相同的(句子-初始)位置；，但与长数据集，它有。

现在要了解详细信息: ngram标记基于当前单词和n-1以前的POS标记( "context")选择POS标记。在句子的开头，一个单词有空的“上下文”；要标记测试短语的第一个单词，标记者需要在句子的开头在你的培训数据中看到它。测试短语中的第一个单词是"that"，没有大写。这是否真的发生在培训数据中？是的，可以：

>>> for n, s in enumerate(brown.sents(categories="news")):
        if s[0] == 'that':
            print(n, " ".join(s))

3322 that its persistent use by ballet companies of the Soviet regime indicates that that old spirit is just as stultifying alive today as it ever was ; ;
3323 that its presentation in this country is part of a capitalist plot to boobify the American people ; ;
3324 that its choreography is undistinguished and its score a shapeless assemblage of self-plagiarisms .

就布朗语料库而言，这些都是完整的句子。也许这是有原因的，但这并不重要，是吗？只要您的培训数据至少包含其中一个，您就可以在标签的内部表中查找上下文：

>>> bigram_tager._context_to_tag[(tuple(), "that")]
'CS'

在你用前100个句子训练的标签上(或者在一个用前3000个句子训练的标签上，因为在正确的地方仍然没有小写的“那个”)，尝试同样的方法，你就会得到一个KeyError。没有看到上下文，标记返回None作为第一个单词的标记。一旦失败，标记第二个单词将失败(再次错误的上下文)，等等。

实用建议:总是使用退避标记(它将使用一个单词的所有实例来选择一个标签)，标记完整的句子，用适当的大写，或者两者兼而有之。