特征选择中信息增益与互信息的差异

Question

信息获取和相互信息有什么区别？

在这一点上，我了解到信息增益是在随机变量和目标类别之间计算的，而互信息是在两个随机变量之间计算的。

在随机变量和目标类之间进行计算时，相互信息是否与信息相同？

Answer 1

信息增益(IG)是在给定的数据集或随机变量上执行的操作所获得的熵的度量。现在，这里的熵只是我们数据集中的变化，所以变化越小，熵越小，反过来我们的数据集之间的相关性也就越大。

正如您在分类任务中所暗示的，互信息(互信息，MI)是一个片面的度量，而信息增益是一个双边的度量。实际上，这两种方法都衡量一个特性与特定目标类有多相关&我经常观察到各种源使用术语信息获得与相互的信息互为交换，因为它们是对称的。

值得注意的是，虽然相互信息衡量的只是积极的特征，信息的增益衡量了我们的数据的负面和积极的特征。为了保证数学的完备性，X给定Y的信息增益由IG(X|Y) = H(x) - H(X|Y)给出，互信息I(X;Y)则由I(X;Y) = sum_x sum_y P(X,Y) log {P(X,Y)/P(X)P(Y)}给出。

以下链接可能有助于更好地理解这些术语：

• 第1部分:概率分布
• 第二部分信息理论

希望能帮上忙！