超参数调整后的验证

Question

我用随机搜索调整了我的超参数，并使用了cv=5。用模型和测试数据验证超参数是重要的，还是可以使用随机搜索中给定的返回精度？

Answer 1

在机器学习中，所谓的超参数和参数之间有着根本的区别。

参数

它们是定义您的模型的变量，或者换句话说，您的输入和您试图预测的输出之间的关系。

例如，在简单线性回归中，目标是能够根据包括y输入值\mathbf{x} = (x_1, \dots, x_n)^{\mathbf{T}}的一组训练数据对输入变量的一些新的输入值x进行预测。输入和输出之间的关系

y = w_0 x + w_1

当w_0和w_1是<#>参数时，我们的算法试图在训练期间“学习”，以便为y做出最准确的预测。w_0一词称为重量，w_1一词称为偏差。

超参数

这些参数不同于上述参数，因为它们对培训过程本身起作用。超级参数可以被看作是你要调整的旋钮，以便以最好的方式调整你的模型的学习。

超参数的一个例子是学习速率，\eta用来调整在寻找使用梯度下降的模型的最佳参数时，计算出彼此之间的距离。另一个例子是使用随机森林算法时森林中的决策树数。

Hyperparameter调优

与模型参数不同，在训练机器学习模型之前，用户可以设置超参数。公平地说，你提到的随机搜索交叉验证方法对于为机器学习问题的超参数寻找最合适的值是非常有效的。您可以合理地将交叉验证的结果用于超级参数。

下一步应该包括在延迟测试数据上测试您的模型，以检查您在培训期间确定的模型参数是否确实正确地设置了模型。