ngram和RNN预测率wrt字索引

Question

我试着根据单词在句子中的位置绘制正确预测率(前1名候选名单)：

我希望能在ngram设置上看到一个平台，因为这是不必要的上下文。然而，我没想到的是，预测率会下降。根据我的理解，由于我们已经有了三个词的上下文，平台应该逐步收敛到它的最高值。但是，递归网络和Ngram模型都在经历这一下降。我不知道为什么会这样。

(注: RNNLM是用于构建递归神经网络的框架的名称，它使用500个神经元和100 m直接连接，RNN25是相同的设置，但有一个训练基地除以for)

以下是句子大小分布：

提前谢谢。

Answer 1

递归神经网络(RNN)随着时间的推移，产生一个单一的状态向量。因此，这条曲线是可以预料的。最初，状态向量确实有足够的信息来进行质量预测。然后迅速达到渐近性能。总的来说，预测的正确率在15%到22%之间。

图形的形状可能是训练语料库中句子长度的函数。可能句子的长度在3到7个字之间。下降的原因可能是因为较长刑期的培训数据较少。