如何建立一个过载的网络以提高性能

Question

我正在学习如何实现CNN，并在互联网上搜索，我发现设计一个好的网络的一个诀窍是先将它构建成适合它的方式，然后使用正则化来消除过度拟合，并拥有一个良好的网络。

但我该怎么做？我不明白如何建立一个故意覆盖的网络？在那之后，我用哪种方式使用正规化？

有人能帮我吗？

提前谢谢。

Answer 1

过度拟合的原因一般是由于模型的高(不必要)复杂性。因此，如果你训练一个过于复杂(大)的模型，你将得到一个高的训练精度和低的测试集的准确性。然后，你可以开始与getting more data，dropout，regularization，early stopping，global average pooling，feature scale clipping或dropping some of layers from your network过当斗争。

Answer 2

听起来您在谈论orthogonalization，在这种方法中，您将模型拟合的重点分为四个阶段：

你建立了一个模型：

步骤1:很好地拟合训练数据，这是目前的主要重点，在这一步中可能会发生过度拟合。

步骤2:很好地适合开发数据，在这一步中，您可能会添加正则化以解决过度匹配问题。

第3步:很好地拟合测试数据，这一步是必要的，因为开发数据已经被大量试验过了，而且模型可能过于适合开发数据。

第4步:很好地适应现实世界的数据