对特征选择预处理进行交叉验证的动机是什么？

Question

我看过几篇关于特征选择(包装器和嵌入式方法)的文章和例子，他们把样本数据分成训练集和测试集。

我理解为什么我们需要使用交叉验证(将数据分成训练集和测试集)来构建和测试模型的分数(所提出算法的实际预测)。

但我不明白这样做的动机是什么？

我们需要选择哪些特征没有真正的结果，那么它如何改进特征选择的过程呢？

好处是什么？

Answer 1

大多数特征选择方法，如包装器模型，都需要比较不同特征组合下模型的性能。

当使用不同的特征子集时，交叉验证提供了一种更健壮的方法来比较性能，因此，提供了更健壮的特征选择过程。例如，如果使用K折叠交叉验证，则将基于来自不同数据折叠的误差的平均值进行比较，因此，选择将导致最小泛化误差的子集。

此外，对于不同的特征组合，最佳超参数不一定相同。交叉验证有助于调优，因此可以进行更公平的比较。

This也是关于这个主题的信息资源。