训练样本数量与模型深度的关系？

Question

当我在CNN中添加更多的隐藏层(例如密集层)时，该模型似乎需要更多的训练样本才能对训练样本少的班级产生良好的效果。在单层情况下，即使对于样本较少的类，该模型也提供了更好的结果。(多类文本分类>10类)

有证据证明我的假设是正确的吗？

Answer 1

是的，这是常识。每次向模型添加参数时，都需要给它提供更多的数据，以便它学习更简单的模型。神经网络中的每个个体权重都是一个参数。权重越大，参数越多，需要的数据也就越多。

建立模型的基本任务之一是在拥有足够的参数来学习细节和有足够的数据来训练所有这些参数之间找到一个很好的权衡。过多的参数会导致过度拟合，部分原因是如果你没有足够的数据，你最终会记住个别案例，而不是在几个案例中学习和平均。

这就是为什么阶级失衡是个问题的原因之一。如果您在其中一个类上没有足够的数据，那么模型将很难理解该类。