机器学习中的超参数整定

Question

超参数整定和k-神经网络算法有什么区别？k-NN也是一种超参数整定吗？

Answer 1

在kNN算法中，你只需要找到一个合适的参数k，并且有些模型可能有很多可以修改的参数。正常参数通过损失函数进行优化，而超参数调整允许您设置各种参数以获得最佳模型。你在训练前就设置好了。其2种方法:栅格法和随机抽样法，效果较好。

网格方法:将网格强加到超参数的可能空间上，然后逐个遍历网格的每个单元，并根据该单元格的值对模型进行评估。网格方法在尝试参数值时倾向于使用大量的资源，而这些参数值根本没有意义。

随机抽样方法:在随机方法中，我们有很高的概率快速找到一组好的参数。在做了一段时间的随机抽样之后，我们可以放大到表示一组好的平行曲线的区域。

随机抽样允许在超参数空间中进行有效搜索。但随机抽样并不能保证在有效值范围内的一致性。因此，选择适当的规模是很重要的。

您可以阅读以下内容：深度学习算法的超参数整定