语言模型评估是如何处理未知单词的？

Question

因此，为了建立语言模型，排名超过词汇表大小的不太频繁的单词被替换为'UNK‘。

我的问题是，如何评估这种基于'UNK‘评估概率的语言模型？假设我们想在测试集上评估这样一个语言模型的困惑程度，对于模型未知的单词，我们得到的概率是基于未知单词的“袋子”来评估的。

这似乎有问题，因为如果我们将词汇表大小设置为1，即所有单词都是未知的，那么这个无能为力的语言模型的困惑程度将为1。

Answer 1

这个文件很好地解释了这个问题：

https://web.stanford.edu/~jurafsky/slp3/4.pdf

简而言之，困惑应该只在具有相同词汇量的语言模型之间进行比较。