哪个更好:交叉验证还是用于超参数优化的验证集？

Question

对于超参数优化，我看到两种方法：

1. 将数据集分解为训练、验证和测试，并根据训练数据集的训练结果和验证数据集的评估结果对超参数进行优化，使测试集保持不变，以供最终的性能评估。
2. 将数据集分解为训练和测试，并在训练集上使用交叉验证优化超参数，使测试集保持不变，以进行最终的性能评估。

那么哪种方法更好呢？

Answer 1

k-fold交叉验证(CV)过程(方法2)实际上做的事情与方法1相同，但是它重复了关于训练和验证集k时间的步骤。因此，对于CV，在选择最佳的超参数值之前，性能在k运行期间是平均的。这使得性能和价值选择在一般情况下更加可靠，因为偶然获得最佳结果的风险较小。然而，这需要更长的时间(因为重复k时间)，所以如果培训过程很长，使用简历并不总是可行的。