⋯,wm)=P(w1)∗P(w2∣w1)⋯P(wm∣wm−1)=∏i=1mP(wi∣wi−1)$ 当 n = 3 时称为三元模型(trigram model),公式(1.2)右边会演变成 P(wi| wi
count(wi) / N (4) 同理,如果近似认为任意词wi的出现只同它紧邻前两个词有关,就得到一个三元模型(trigram): P(W) ≈P(w1)P(w2/w1) ∏i=3,…,nP(wi/wi
这意味着对于任何给定的单词wi,以下概率应该较高: 为了得到等式右边,我们需要假设给定目标单词(wi)的上下文单词彼此独立(例如,wi-2和wi-1是独立的)。