当在scikit-learn中跨多个模型进行交叉验证时，如何保持相同的折叠？

Question

我正在对多个模型进行超参数调优，并比较结果。通过5折交叉验证选择每个模型的超参数。我使用sklearn.model_selection.KFold(n_splits=5, shuffle=True)函数来获得一个折叠生成器。

在查看了有关KFold的文档和一些模型的源代码后，我怀疑每个模型都创建了一组新的折叠。我想让事情变得更公平，并对我正在调优的所有模型使用相同的(最初是随机的)折叠。在scikit-learn中有没有办法做到这一点？

作为一个相关的问题，使用相同的折叠来获得我试图进行的公平比较有意义吗？

Answer 1

您有两个选择：

在shuffle=False.中使用

1. 可以从一开始就对数据进行打乱处理

1. 在每次执行KFold时将参数random_state设置为相同的整数。

当您重复KFold时，任一选项都应导致使用相同的折叠。请参阅此处的文档：https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.KFold.html

这种方法对我来说是合乎逻辑的，但我并不期望它会有显著的不同。也许其他人可以给出更详细的优点/缺点的解释。

Answer 2

交叉验证的目标是在测试集中获得具有代表性的准确性度量。你的折叠数越多，你的指标就越准确。

如果您使用5折或10折交叉验证来比较不同的超参数集，则不必使用完全相同的拆分来比较模型。所有折叠的平均精度将让您很好地了解模型的执行情况，并允许您对它们进行比较。