带噪声函数的共轭梯度

Question

好的，我正在做RMS prop或SGD来让神经网络学习它的参数。但是，过了一段时间，训练和验证错误似乎都停滞不前了(除了随机波动:我正在使用dropout)。

因此，我决定尝试使用共轭梯度来精化值。很明显我还是不想让它过大，所以我保留了辍学...但是，当然，这会使优化函数变得嘈杂。所以，我想我的问题是:共轭梯度(或L-BFGS等)需要无噪音功能吗？或者它们可以在有噪音的情况下工作吗？

谢谢!

Answer 1

基于梯度的优化算法对噪声高度敏感。这是因为导数计算由于跨函数域的噪声造成的不连续性而受到影响。

用启发式算法优化含噪目标函数:遗传算法、模拟退火算法、蚁群算法、粒子群算法等。它们不是基于梯度的，因此它们不会表现出同样的弱点。

你可以在书中阅读更多关于这些算法的内容：

Duc，D. Karaboga，智能优化技术。英国，伦敦: Springer-Verlag伦敦，2000年。

如果你对模拟退火感兴趣，你也可以阅读：

Peter Rossmanith，《未插入的算法》，Vöcking，B.，Alt，H.，Dietzfelbinger，M.，Reischuk，R.，Scheideler，C.，Vollmer，H.，Wagner，D.，Ed。柏林，德国:施普林格-维拉格柏林海德堡，2011，ch。41，第393-400页。