LM深模型原理

Question

语言模型(LM)是预测下一个单词的任务。

深层模型需要编码器吗？从tensor2tensor的ptb代码中，我发现深层模型不包含编码器。

或者有编码器和没有编码器都可以执行LM任务？

Answer 1

LM的目标是学习一种语言符号序列上的概率分布。

也就是说，学习P(w_1,...,w_N) (资源)。

这个建模可以通过以下方式完成

1. 根据前面的单词预测下一个单词：P(w_i | w_1,...,w_{i-1})
2. 预测给定中心词(跳克)的相邻词：P(w_{i+k}| w_i), k \in \{-2, -1, 1, 2\}，或
3. 预测中心词给定的相邻词(CBOW或连续包字)：P(w_i| w_{i-2},w_{i-1},w_{i+1}, w_{i+2})或其他设计。

深层模型需要编码器吗？从tensor2tensor的ptb代码中，我发现深层模型不包含编码器。

是。现代LM解决方案(都是深层次的)试图找到一种编码(嵌入)，以帮助他们预测下一个，邻居，或中心词尽可能接近。然而，单词编码可以用作其他模型的常量输入。ptb.py代码调用text_encoder.TokenTextEncoder来接收这样的字编码。

有编码器和没有编码器都可以执行LM任务？

LM任务也可以不用编码器来处理。例如，我们可以使用相邻单词的频率表来建立一个模型(N-图建模)；例如，所有对(我们，?)出现10K次，配对(我们，can)出现100次，所以P(can _我们)= 0.01。然而，编码器是现代LM解决方案的核心。