条件互信息表示

Question

这可能是一个天真的问题，但我真的在努力解决这个问题。我看过许多论文和文章，它们提出了相互信息和有条件相互信息的公式。他们通常用两种方式写出来：

1. 第一公式

和

1. 第二公式

这些公式实际上是等价的吗？PX(x)的意思实际上与P(x)的意思相同吗？

Answer 1

PX(x)和P(x)确实是一样的。它们都表示概率P(X=x)。这两个公式是等价的。通过使用以下规则，您可以从第二个移动到第一个：P(A,B)/P(B)=P(A|B)。然后把这个定律应用到第二个公式上，我们得到

p(x,y|z)/[p(x|z)p(y|z)]=[p(x,y,z)/p(z)]/[{p(x,z)/p(z)}*{p(y,z)/p(z)}]=
=[p(x,y,z)*p(z)]/[p(x,z)*p(y,z)]

最后一次转换是由于取消了其中一个p(z)。结果给出了第一个公式。