验证集在神经网络中的应用

Question

我想描述一种算法，用于选择每一种方法中隐藏的层数和神经元数(我在任何地方都找不到这种方法的任何认可，但这对我来说似乎很符合逻辑)：

1. 将数据分为60% (培训)、20% (验证)和20% (测试)部分。

现在我想检查在一个隐藏层和两个隐藏层网络中的所有可能性。为此：

1. 我将训练网络的一个隐藏层和1，2和3个神经元在这一层(3个不同的网络)。在此之后，我将计算每个网络的验证集(RMSE和MAE)上的错误。
2. 对于有两个隐层的网络，我要做同样的事情，也就是用两个隐层来估计网络，每个层都有神经元数目的可能性(但是神经元的数目只能是1，2或3)。这意味着我将有9对可能的结果:1神经元在第一隐层，1神经元在第二隐层。2个神经元位于第一隐层，1个神经元位于第二隐层等。对于这9种体系结构中的每一种，我将在验证集的预测和实际值之间计算RMSE和MAE。
3. 在所有这些迭代中，我将选择验证集上错误最少的体系结构。

你能告诉我这个算法是否有意义吗？如果不是，我还能用验证集来选择神经网络的最佳架构吗？

Answer 1

这是超参数/模型选择的绝对标准方法。所依赖的“技巧”是从一组非常有限的模型中进行选择(在您的例子中为12)，因此您对错误的估计将非常严格。你可以参考弗拉基米尔·瓦普尼克( Vladimir Vapnik )的“统计学习理论”一书，书中给出了这种方法之所以伟大的确切界限。

话虽如此，您的工作假设是20%的数据“足够大”来评估您的性能，如果不是的话，您可以查看交叉验证。