互信息概念

Question

我想在虹膜数据集中获取相互信息以选择最佳特性，但我对互信息感到困惑。

• 选择特征的互信息概念是什么？有人能用简单的方式解释吗？

除非你能向你祖母解释，否则你不会真正理解什么。阿尔伯特·爱因斯坦

Answer 1

互信息(MI)量化了在另一个变量的帮助下表示一个变量所需的信息量。如果两个变量是相互独立的，它们的MI是零，否则它将大于零。MRMR是一种基于互信息的特征选择，它使用MI，如果它的类标签具有最大的MI (最大的相关性)和最小的MI与其余的特征(最小的冗余)，那么它就会被认为是有效的。最大相关性和最小冗余的结合将确保更好的性能和较小的特征维度。

Answer 2

简单地说，互信息被用来度量特征的相关性和冗余性，其主要目标是高精度、最小的时间复杂度(计算损失)。通常采用筛选器或包装器方法进行特征提取。很好地理解交叉熵和信息论将有助于理解MI概念。本论文有一种新的特征子集选择算法，它基于(条件)互信息(以及LNC估计器)计算，您可以快速完成该算法。