什么是科学学习中最有效的超参数优化方法？

Question

这里是关于科学学习中的超参数优化过程的概述。

穷举网格搜索将为模型找到最优的超参数集。缺点是穷尽的网格搜索速度慢。

随机搜索比网格搜索速度快，但方差过大。

在其他包中也有其他策略，包括scikit优化、自动滑雪和scikit超带。

什么是最有效的方法(快速找到合理的性能参数)的超参数优化在科学学习？

理想情况下，我希望使用带有基准的代码示例。

Answer 1

优化不是我的领域，但据我所知，目前高效有效的超参数优化主要围绕着建立代理模型。随着模型复杂性的增加，它们变成了一个更不透明的黑匣子。深层神经网络和想必复杂的树也是如此。代理模型试图将该黑匣子中的底层空间进行倒退。基于各种抽样技术，他们探索超参数空间，并试图建立一个函数来代表真实的潜在的超参数空间。

贝叶斯优化的重点是代理模型，该模型的构建对BO的建立至关重要。选择一个良好的损失函数也是BO的关键。

我认为随机搜索和贝叶斯搜索的性能随数据集和模型的不同而不同。Bergstra & Bengio (2012)对网格搜索中的随机搜索进行了有力的论证。Shahriari等人(2016年)为BO提供了强有力的理由。基于模型的超带策略可能比BO表现得更好，特别是对于高维，但是它纯粹是勘探，而不是开发。这很容易导致过早停止。然而，已经出现了努力将超带和BO结合起来。

我已经取得了很好的成功，科学优化，尽管有相当多的未实现。这是很容易原型，并可以很容易地与科学知识接口学习。

Bergstra，J. & Bengio，Y. (2012年)。超参数优化的随机搜索。机器学习研究杂志，13(2月)，281-305。

Shahriari，B.，Swersky，K.，Wang，Z.，Adams，R.P.，& De Freitas，N. (2016)。把人从循环中取出来:贝叶斯优化的回顾。IEEE议事录，104(1)，148-175。

Answer 2

你可以看看自动滑雪。这是一个自动机器学习工具包，它是scikit- learning的直接扩展。