交叉验证中的折叠

Question

我正在执行10倍交叉验证来评估一系列模型(变量选择+回归)的性能。我用这个代码手工创建了这些折叠。

目前，我正在执行第一个变量选择，然后通过cv进行超参数调优，最后用RMSE和MAE测试所有模型的性能，但我有疑问。

对所有型号“使用”相同的褶皱是正确的吗？或者我应该为每一种型号分别做一份简历？

Answer 1

我建议尝试这两种方法(不止一次)，并探索任何不同之处。在我的经验中，对所有模型使用相同的折叠集，或者对每个模型使用一组新的折叠，都没有任何实质性的区别。如果你发现不一样的话就发吧！

关于“我正在执行第一个变量选择，然后通过cv进行超参数调优”，也许可以观察https://www.youtube.com/watch?reload=9&v=S06JpVoNaA0，以确保您没有引入任何偏见。

Answer 2

如果您想要评估不同模型的性能，即模型基准，就必须保持输入环境不变，即任何外部输入，如CV (折叠数)。

而您可以调优特定于模型的参数来优化模型。

Answer 3

IMHO我将使用相同的折叠所有型号。首先，它可以是可复制的，您正在用相同的数据来评估所有的模型。所以，这是同一个基准测试环境。此外，您也可以使用折叠预测堆叠。

ps:您可以尝试使用验证集进行超参数优化。