如何利用支持向量机的权向量和logistic回归来确定特征的重要性？

Question

我在我的数据集上训练了支持向量机和logistic回归分类器。两个分类器都提供了一个权重向量，该向量的大小是特征数的大小。我可以使用这个权重向量来选择10个最重要的特征，只要选择权重最高的10个特征。

我是否应该使用权重的绝对值，即选择绝对值最高的10个特征？

第二，这只适用于线性核支持向量机，但不适用于我所读过的RBF核。对于非线性核，权值在某种程度上不再是线性的。在非线性核支持向量机的情况下，权重向量不能用来确定特征的重要性的确切原因是什么？

Answer 1

正如我对相似问题的回答，任何线性分类器的权重向量都表明特征的重要性:因为最终值是特征值与权重作为系数的线性组合，所以权重越大，相应的求和对最终值的影响就越大。

因此，对于线性分类器，您可以获取权重最大的特征(而不是特征本身的最大值，或者权重和特征值的最大乘积)。

这也解释了为什么像RBF这样的非线性核的支持向量机没有这样的特性:特征值和权值都被转换成另一个空间，不能说权重越大会带来更大的影响，参见维基。

如果需要为非线性支持向量机选择最重要的特征，可以对特征选择使用特殊的方法，即包装方法。