小批处理与批处理梯度下降

Question

在批处理梯度下降中，说梯度下降更新的一次迭代需要对整个数据集进行处理，我认为这是一个epoch.On，而在小批处理算法中，每个小批处理后进行更新，每一个小批处理完成一个时代。因此，在这两种情况下，在处理完所有数据之后，就完成了一个时代，我不太明白是什么使小批处理算法更有效。

谢谢,

Answer 1

总之，批处理梯度下降是准确的，但它是安全的，因此是缓慢的。小批量梯度下降有点不准确，但不安全，而且速度更快。

在进行梯度下降时，使用梯度估计值来更新权重。当您使用批处理梯度下降，您的梯度估计是100%的准确性，因为它使用您的所有数据。

迷你批处理被认为是更有效的，因为你可能得到，比方说，一个大约80%的精确梯度，只有5%的数据(这些数字是由组成)。因此，您的权重可能并不总是最优更新(如果您的估计不太好)，但您将能够更经常地更新您的权重，因为您不需要一次检查所有的数据。

你的想法是，你更经常更新你的权重与你的梯度近似，这往往是足够好。当您开始处理非常大的数据集时，小批处理的用途变得更加明显。