互信息/熵计算帮助

Question

希望有人能在这个熵问题上给我一些指点。

假设X是从均匀的整数分布0-32 (包括0-32)中随机选择的。

我计算熵，H(X) = 32位，因为每个Xi具有相等的发生概率。

现在，假设执行以下伪代码。

int r= rand(0,1)；//随机整数0或1

R=r* 33 + X；

我如何计算出两个变量r和X之间的互信息？

互信息定义为I(X；Y) = H(X) - H(X|Y)，但我真的不知道如何将条件熵H(X|Y)应用于此问题。

谢谢

Answer 1

如果这是作业，我会给你提示的。(另外，我假设X~ unif0,31，这样这些数字就可以很好地计算出来。您确定它是0,32而不是0，31吗？)

首先，检查你对H(X)的计算。H(X) = 5，而不是32。

其次，方程r= 33r +X没有任何意义。让我使用不同的变量：

Y= 32R +X

第三，你没有说明R的概率分布。假设0和1是等概率的，那么H(R) =1。

如你所说，I(X;Y) = H(X) - H(X|Y) = H(Y) - H(Y|X)。考虑H(Y|X)。如果X是给定的，即保持不变，那么Y只取决于R，对吗？因此，H(Y|X) = H(R)。

最后，使用全概率定律计算Y的概率分布。(提示:这是一个简单的概率分布。)然后你可以计算H(Y)，最后是I(X;Y)。