如何制作超贴合(强大)模型？

Question

据我的教授说，神经网络建模的第一步之一就是使用一个足够强大的模型。

第一步是创建一个足够强大的模型，至少在不使用规则化的情况下，能够在培训数据上实现非常高的精度(非常低的损失)。

除了调整和调整学习速度之外，我还能做些什么来使我的模型“强大”，换句话说，让它适应训练数据？

我用以下的东西看正确的方向吗？

1. 添加额外的层
2. 使层更厚(更多的神经元)

Answer 1

以下是一些提高模型容量的一般超参数调整：

1. 与架构相关的：
   • 添加附加层
   • 增加每层隐藏单元的数量
   • 取消辍学率或降低辍学率

2. 优化相关：
   • 寻找最优学习率
   • 为了更多的时代而训练

深度学习书中的第11.4.1节提供了一个很好的概述。本文“基于梯度的深层建筑培训实用建议”是另一个很好的来源，可以理解不同的超参数的影响(尽管它更老了一点)。

此外，还有一些特定的超参数来增加不同网络类型的模型容量。

• CNN的内核大小，
• LSTMs序列长度和
• 嵌入层的嵌入维数。