如何选择咖啡豆中的批号

Question

我知道更大的批次大小可以从这里中得到更准确的结果。但我不确定哪个批次的尺寸“足够好”。我想更大的批次大小总是会更好，但似乎在某一点上，您只会得到一个微小的提高，在准确性的每一批大小的增长。在寻找最佳批次大小时是否有启发式或经验法则？

目前，我有40000的培训数据和10000的测试数据。我的批次大小是默认的，用于培训的是256，测试的是50。我正在使用NVIDIA GTX 1080，它有8G的内存。

Answer 1

测试时间批处理大小不影响准确性，您应该将其设置为内存中的最大值，这样验证步骤将花费更短的时间。

至于训练时间的批量大小，你是对的，更大的批次会产生更稳定的训练.然而，拥有更大的批次将大大减缓训练速度。此外，每一个时代都会有更少的后端更新。因此，您不希望批大小太大。使用默认值通常是一个很好的策略。

Answer 2

由于选择更大的批处理大小/较小的批处理大小的一些原因，请参见我的硕士论文，第59页。你想看看

• 直到收敛
• 每个时代的时间:越高越好
• 模型质量:越低越好(在我的实验中)

32的批次大小对我的数据集/模型/训练算法是很好的。