深度神经网络架构选择的最佳方式是什么？

Question

我正在用Adam optimizer训练一个深度网络。对于单个隐藏层，我用来做统计计算(相关系数，均方误差等)。并绘制它们以选择隐藏节点的最佳数量。是否有为更深层次的网络选择最佳结构的方法？(除了试验和错误。)

Answer 1

超参数优化仍然是一个开放的问题，它主要是通过试错来完成的，特别是在神经网络的情况下。

除了一些通用的指导方针，如监控性能(欠/过拟合)，你能做的并不多(如果你有更好的解决方案，你现在可以很容易地推销它，只要在谷歌上搜索付费的超参数优化服务，你就会看到它每天都在增长)。

也就是说，您不需要手动执行搜索(手动更改神经网络/训练/重复的结构)。ML库(如Keras和许多其他库)提供了某种超参数网格搜索，您可以在其中为想要优化的超参数设置值/范围，并让网格搜索找到最优解决方案(根据您定义的值范围进行优化，因此如果配置不正确，它可能根本不是最优的)。

在Keras的情况下，您可以使用keras tuner。

当然，运行调谐器可能非常昂贵(取决于网络的复杂性)。