导航超参数

Question

我只是想知道是否有人能给我提供一个很好的来源来阅读我应该如何根据我的问题的复杂性来选择求解者的超参数。

基本上，我明白很多人都觉得，在设定和修改这些参数时，他们是“在黑暗中四处乱射”，而根据具体问题/数据的复杂性来选择参数的系统或基准，我就逃不过了。

如果您愿意解释您自己的方法，或简单地提供您的来源的评论，这将是非常感谢。

Answer 1

由于我们讨论的超参数与backpropagation，相关，这是一种基于梯度的方法，我认为主要参考是班吉奥，以及更经典的Le村等人。

确定超参数最优值的方法主要有三种。前两个问题在我所链接的第一份文件中得到了很好的解释。

• 人工搜索。研究者通过尝试和错误来选择最优值.
• 自动搜索。研究人员依靠一个自动化的程序来加快搜索速度。
• 贝叶斯优化你可以找到一个视频呈现它这里。

Answer 2

我认为这是主要的参考：

http://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf

还请看一看http://neuralnetworksanddeeplearning.com/中的第5章