K折交叉验证中k较大或较小的权衡

Question

当我在读K-fold的时候。我有个问题。

平均而言，随着折叠次数的增加，估计的交叉验证误差会更高还是更小？

我认为CV误差会上升，但我不确定。是对的吗？

Answer 1

使用更高的折叠数，您将减少bais，但增加方差。你的运行时间也会增加。偏差和方差的权衡总是存在的。如果你有非常小的数据集，那么建议使用较小的K值，因为每个折叠中没有足够的数据点供机器有效学习。