用CIFAR-10培训Resnet所需的时间

Question

我正在编写一个神经网络，在CIFAR-10数据集上训练Resnet .论文图像识别中的深度残差学习提到了大约60000个时代的培训。

我在想，在这种情况下，时代究竟是指什么？这是一次通过一个小批的128号大小(这意味着大约150个通过整个50000图像训练集？

此外，这需要多长时间来训练(假设CPU仅为20层或32层ResNet)？按照上面对一个时代的定义，似乎需要很长的时间.

我期待的东西大约2-3个小时，这相当于大约10个通过50000图像训练集。

Answer 1

这篇论文从未提到过60000个时代。一个时代通常被认为意味着对整个数据集的一次遍历。60000世纪将是疯狂的。他们在CIFAR-10上使用了64000次迭代。迭代包括处理一个小型批处理、计算然后应用梯度。

您是正确的，因为这意味着>150通过数据集(这些是时代)。现代神经网络模型通常需要数天或数周的训练。特别是ResNets由于其庞大的尺寸/深度而令人烦恼。注意，在论文中，他们提到了在两个CPU上训练模型，这比在CPU上的速度要快得多。

如果你只是在训练一些“好玩”的模特，我建议你把它们大幅缩小。尝试8层左右，甚至这可能是太多了。如果您这样做的研究/生产用途，获得一些GPU。