在多个种子上使用K-折叠交叉验证来评估模型的正确方法是什么？

Question

我正在训练一个深度学习模型，使用3个随机种子上的5倍CV (随机种子用于模型初始化，CV拆分一次)。对于每个折叠，我保存最好的模型。因此，在模拟之后，我得到了15个模型。为了评估性能，我取了这15个模型中的最好的(在整个评估过程中没有变化)，并使用每个种子的所有5折的验证折叠来对其进行评估。然后我对这些种子的结果进行平均。

我想知道我在这里做的事情是否正确。

我已经读到有两种方法来计算CV性能:1池化，其中性能是在所有测试集的并集上全局计算的2平均，其中性能是针对每个测试集单独计算的，结果是这些测试集的平均值。

我打算使用方法二(平均)。

Answer 1

是的，你可以对5折的CV使用平均方法，但我不明白你所说的“对于每个折叠，我保存最好的模型”是什么意思。此外，三个随机的种子值是不够的。您应该使用至少10个不同的值，并在这些种子上绘制相应结果的框图。