神经网络中超参数优化的适当阶数

Question

我已经建立了一个神经网络来逼近某个函数，并决定了如何评价性能。现在，从哪里开始优化才能得到最优的结果呢？我需要决定层数，隐藏神经元，学习速度，学习算法和所有其他的超参数。优化所有网络参数的通常程序和顺序是什么？我想我正在寻找某种通用的准则来获得最好的性能。

Answer 1

我最初的建议是查阅文献，寻找已经实施的解决类似问题的网络，并从那里开始。然后，您应该为参数尝试一组不同的值，看看什么在您的情况下有效。

也请参阅这个交叉验证的问题：https://stats.stackexchange.com/questions/181/how-to-choose-the-number-of-hidden-layers-and-nodes-in-a-feedforward-neural-netw