为什么超参数调优发生在验证数据集上，而不是在一开始？

Question

尽管做了/使用过几次，但我仍然对使用验证集进行超参数调优感到有点困惑。

据我所知，我选择一个模型，对训练数据进行训练，对训练数据进行性能评估，然后对验证数据进行超参数整定评估模型性能，然后选择最佳模型并对测试数据进行测试。

为了做到这一点，我基本上需要随机选择一个模型来训练数据。我不明白的是，我不知道哪一种模式在一开始会是最好的。假设我认为神经网络和随机森林可能对我的问题有用。那么，为什么我不开始搜索一个一般的，例如，神经网络体系结构，随机森林体系结构，并从一开始，评估哪一个模型是最好的一小部分数据变化的所有超参数无论如何。

基本上为什么要选择一个基于人的“猜测”来做训练，然后在验证阶段进行超参数调优呢？为什么不“从完全不确定开始”，进行广泛的搜索，从一般的神经网络或随机森林或.评估范围广泛的超参数的性能。建筑，从一开始？

谢谢!

Answer 1

使用列车数据集执行超参数调优。验证数据集用于确保您所培训的模型不过分合适。这里的问题是，模型已经“看到”了验证数据集，并且有可能模型对新的/未见的数据没有按预期执行。这就是为什么您需要一个额外的数据集，即测试数据集。

Answer 2

在开始时，超参数调优通常是在验证集上进行的，而不是在培训集或一小部分数据上进行的，原因有几个：

1. 过度拟合:如果你调优了训练集上的超参数，模型最终可能会对训练数据过度拟合。这意味着模型在训练数据上可能表现得很好，但可能不能很好地推广到新的、看不见的数据上。另一方面，如果对验证集上的超参数进行调优，则模型将不太适合，因为验证集与训练集不同，并且用于评估模型对未见数据的性能。
2. 偏差:如果你在一小部分数据上调优超参数，那么模型可能偏向于数据的那一小部分，并且可能无法很好地推广到其余的数据。这是因为模型可能已经学习了一些特定于数据的小部分的模式或特性，并且可能并不代表整个数据集。
3. 效率:在验证集上调优超参数通常比在一开始对训练集或对一小部分数据进行调优更有效。这是因为验证集通常比训练集大，并且在更大的dataset上调优超参数使模型能够更可靠地学习和更好地泛化。

简而言之，超参数调优通常是在验证集上进行的，因为它有助于防止过度拟合，减少偏差，并且比其他方法更有效。