如何使用验证数据优化超参数

Question

我正在训练一个神经网络机器学习模型，对如何调整超参数感到有点困惑。

我认为培训过程如下：

• 建立具有某些超参数的神经网络(例如隐藏层中的神经元数目)
• 使用培训数据更新参数
• 使用验证数据来评估模型是否过度拟合并正在改进。
• 使用测试数据评估性能

有人告诉我，验证数据也被用来调优超参数。我不明白如何做到这一点，因为您在之后使用了验证数据，您已经构建了模型并对其进行了培训。我不能改变超参数，因为模型已经建立了。

假设我有4个超参数，它们指定了一个神经网络的结构。我是否应该对每一个超参数组合(4^4组合)进行整个训练、验证过程？

谢谢

Answer 1

基本上是的，你必须经历整个过程。交叉验证和模型/参数选择是这样做的，你训练多次(不同的参数)，评估得到的模型(通过成本、损失、准确性或适当的度量)，并选择给出最佳结果的参数。

例如，如果您在哪里培训一个回归模型，您可以训练10个不同的多项式模型，并使用验证数据来选择更好的模型，这在您的情况下是一样的，但是您使用不同的网络架构。