互信息和预测精度

Question

互信息和分类的预测精度或回归的均方误差之间有什么关系？在数据挖掘中，是否有可能在低互信息的情况下具有高精度/低MSE？

Answer 1

互信息是为概率分布对定义的。关于它与其他量的关系，很大程度上取决于您如何计算和表示这些概率分布(例如，离散概率分布与连续概率分布)。

给定一组概率分布，分类精度和互信息之间的关系是studied in the literature的。简而言之，一个量对另一个量起到了约束作用，至少对于离散概率分布是这样。

据我所知，没有任何正式的研究关注MSE和相互信息之间的关系。

尽管如此，如果我有一个具体的数据集，并且在回归模型中获得了两个变量的低互信息得分，但MSE也非常低，我将仔细查看互信息是如何计算的。100次中有99次会发生这种情况，因为香农熵(以及扩展的互信息)的原始公式用于连续/浮点数据，即使此方法仅适用于离散数据。