自动选择超参数

Question

我在学习神经网络和正则化。我注意到有很多超参数需要手动设置，这取决于您试图解决的问题的类型，您正在处理的数据集，等等。

我想知道是否有一种方法可以创建另一个优化模型，使其自动找到训练所需的最佳超参数？我的意思是，我们可以通过梯度下降或其他方法找到合适的权重。所以，如果我们能在超参数上找到某种代价函数，我们不也能做到吗？基本上就像AI程序调整我们的AI模型一样。

这样的事情是可能的，或者至少是一个可以问的问题吗？也许这已经在一些我不知道的研究中完成了？

Answer 1

是的，有一些框架可以自动为你调优超参数。我是Optuna团队的成员，Optuna (optuna.org)就是这样一个框架，它将进行贝叶斯优化，为您调整超参数。它可以与任何python程序一起工作，这些程序可以编写具有丢失或精度输出的代码。

Answer 2

有一些包你可以探索一下。我建议你使用talos。请找到下面的链接：

https://www.analyticsvidhya.com/blog/2021/05/neural-network-and-hyperparameter-optimization-using-talos/

最后，你会找到talos的代码