深度学习:为什么随着批次大小的减少，准确性会提高呢？

Question

我对批处理大小的理解是:越小、越吵、计算效率越低，但是我开发了一个模型，我使用了一个特定的数据集，在其中我尝试了不同的配置，我所能看到的就是，随着批处理大小的减小，精度会提高(同时保持其余的参数不变)。我尝试了2，4，8，16，32和64的批量大小。我预计，准确度将从2-8，它将是稳定的/振荡在其他，但与减少批大小的改善是完全清楚的(2倍的交叉验证)。

我的问题是，为什么会发生这种事？当这种情况发生时，我能对我的模型和数据集说些什么呢？

Answer 1

它的想法是，它是更难适应，因为梯度噪声。但这不仅是在改善。见卷积神经网络结构的分析与优化第59页表5.9。如果你的批量太小，准确度会再次下降。