什么是分布不对称的度量？

Question

我试图理解KL-发散，D_{KL} \langle P(X) \Vert P(Y) \rangle,，并浏览维基百科的文章。上面写着

相对于信息的变化，它是一个分布不对称的测度，因此不符合一个统计的价差度量，它也不满足三角不等式。

分配不对称测度的含义是什么？有对称测度吗？作为价差的统计指标，一个数量应该遵循哪些规则？

Answer 1

分配不对称测度的含义是什么？

(正向)KL-散度是分布不对称的，因为如果你把它计算为D_{KL} \langle P(X) \Vert P(Y) \rangle，其中P(X)和P(Y)是两个不同的概率分布，后者是参考分布，那么D_{KL} \langle P(Y)\Vert P(X)\rangle \neq D_{KL}\langle P(X)\Vert P(Y)\rangle.，换句话说，反向KL-散度不等于正向KLD。如果正向KLD是对称的，那么上述就是一个等式，而不是一个不等式。

有对称测度吗？

例如，分布对称度量是相互的信息：

I(X;Y) = H(X)+H(Y)-H(X,Y) = D_{KL} \langle P(X,Y) || P(X) \cdot P(Y) \rangle,，其中H(X)是变量X's概率分布的熵，自I(Y;X) = I(X;Y)以来。互信息是KLD的一个特例，其中联合分布是用边际分布的乘积来度量的。

作为价差的统计指标，一个数量应该遵循哪些规则？

距离度量应该满足的三公理是：

1. 无法辨别的身份
2. 对称性
3. 次可加性或三角不等式

由于相互信息不服从不等式三角形，因此它不符合距离度量的全部标准。相反，信息的变化确实满足了上述所有要求，是一个真正的衡量标准：

VI(X;Y) = H(X,Y) - I(X;Y)，其中H(X,Y)是联合熵。