从双图概率计算三图概率

Question

给定文本中单词的bigram probabilities，如何计算trigram probabilities？

例如，如果我们知道P(dog cat) = 0.3和P(cat mouse) = 0.2

如何找出P(dog cat mouse)的概率？

谢谢!

Answer 1

在下面，我考虑三个随机变量A,B,C的三角图。所以dog cat horse就是A=dog, B=cat, C=horse。

使用链规则：P(A,B,C) = P(A,B) * P(C|A,B)。如果你想保持精确的话你就会陷入困境。

您可以做的是假设C独立于给定的A ( B )。然后它认为P(C|A,B) = P(C|B)。和P(C|B) = P(C,B) / P(B)，你应该能够计算出你的三角频率。请注意，在您的示例中，P(C|B)实际上应该是C跟随B的概率，因此它是BC除以B*概率的概率。

因此，总结一下，当使用条件独立性假设时：

P(ABC) = P(AB) * P(BC) / P(B*)

要计算P(B*)，就必须对所有以B开头的三叉图的概率进行汇总。