SGD数据应该随机选择还是按顺序喂入？

Question

在训练神经网络时，随机选择每一批数据还是按顺序输入数据比较好？为什么？

Answer 1

如果随机地输入数据，则与按顺序提供数据相比，出现过度拟合的可能性更小。

如果数据是按顺序输入的，那么网络将不会学习泛化，因为将根据同一图像一次又一次地更新该批数据的权重。

总是建议随意喂食。