支持向量机的特征选择

Question

我的问题是三重

在“核化”支持向量机中

1. 是否需要变量/特征选择？？特别是因为我们将参数c正则化以防止过度拟合，而将核引入支持向量机的主要动机是增加问题的维数，在这种情况下，通过参数约简降低维数似乎有违直觉。
2. 如果第一个问题的答案是“否”，那么，在什么情况下，人们应该记住答案会改变呢？
3. 有什么好的方法可以使支持向量机的特性简化吗?我已经尝试过SelectFpr方法，并且正在寻找有不同方法经验的人。

Answer 1

就我个人而言，我喜欢将特征选择分为两部分：

• 无监督特征选择
• 监督特征选择

无监督的特征选择是像聚类或主成分分析( PCA )这样的事情，在这种情况下，您可以选择最不冗余的特征范围(或者创建冗余很少的特征)。有监督的特征选择是像Lasso这样的事情，您选择的特征具有最大的预测能力。

我个人通常更喜欢我所说的有监督的特征选择。所以，当使用线性回归时，我会选择基于Lasso的特征。在神经网络中也存在类似的诱导稀疏性的方法。

但实际上，我不知道如何在一种使用内核的方法中做到这一点，所以您最好使用我所说的无监督的特性选择。

编辑:你还问了关于正规化的问题。我认为正则化很大程度上是因为我们使用有限的样本，所以培训和测试分布总是会有所不同，而且您希望您的模型不过分合适。我不确定它消除了避免选择特性的需要(如果您确实有太多的特性)。我认为选择特性(或创建一个较小的子集)有助于使特性更健壮，并避免模型从虚假相关性中学习。因此，正规化确实有帮助，但不确定它是否是一个完整的替代方案。但我还没有好好考虑过这件事。