条件熵与互信息聚类评价

Question

首先，我正在进行聚类，我有自己的数据的真实标签。为了进行评估，我使用了每个预测聚类熵值的加权平均值。我还发现，互信息是一种类似的方法，同时我还研究了各种替代方案。根据我的数据，他们似乎给出了类似的结果。

然而，有一个问题令我困惑。

给定预测的集群集U和真正的集群V，相互信息被定义为：

I(U,V) = H(U) - H(U|V)

或,

I(U,V) = H(V) - H(V|U)

如果我的数学是正确的，我所使用的平均熵对应于条件熵项H(V|U)，并试图最小化这与最大的相互信息对齐。

我无法理解的是，奇异平均熵与相互信息有何不同，为什么我们需要熵项H(U)或H(V)。似乎最小化其中一个条件熵就足够了。

换句话说，据我从方程中了解到，对于真实的或预测的簇，具有高熵本身也会产生更高的相互信息。这是否意味着相互信息有利于大小相等的集群？

提前谢谢。

Answer 1

相互的信息确实有利于许多小的集群。花蜜这些往往是“纯的”。这就是为什么使用诸如归一化互信息和调整互信息(AMI)的变化。

Vinh，N.X.；Epps，J.；Bailey，J. (2009)。“集群比较的信息论措施”，第26届国际机器学习年会的. Proceedings- ICML‘09.P.1.DOI:10.1145/1553374.1553511。