用于二值分类的特征集排序

Question

我有一些特征集，比如X1和X2 .每个特征集都有一些可变的特征，并且不同的特征集之间没有交集，比如X1有100个特性，X2有500个特性，而且它们都没有相同的特性。尽管从其中提取这些特征的文件对于x1和x2都是相同的。

每个特征集可以单独用于二进制分类。像X1一样，也可以用于分类，X2也可以用于分类。它们也可以结合使用，例如X1 U X2，它将有600个特性。

但是我想比较这些特征集，因此我想知道是否有任何统计方法可以用来对这些特征集进行排序，而不是分类精度。

就像X1比X2好等等.

Answer 1

您可以使用一些统计方法对这些特征集进行排序，例如在每个特征集中提取一个判别分数(科莫戈罗夫、互信息、.)然后取平均值，中值，p95，.

但是，取决于将要使用的分类器，这个分数可能是无用的，因为一些分类器充当特征选择器(决策树、神经网络、.)而另一些则不是(高斯NB，kNN，.)。

示例

如果你在你的500中有10个很好的特征来区分你的分类和其他490不包含信息。使用基于决策树的分类器将获得良好的性能，因为可能只使用这10个特征。kNN在另一方面会导致不好的表现.

但是，您的功能设置评分将保持不变。