训练卷积神经网络的最大图像数

Question

我只是在想，训练神经网络的图像数量是否有技术上的限制。

我想要处理非常多的图像，大约100万到10,000,000张图片。因为显卡内存有上限吗？我试着在这个问题上做了一些研究，但我发现了很多问题，你需要多少图像才能得到一个复杂的神经网络的好结果。

感谢并致以最良好的问候，

贝南多

Answer 1

从理论上讲，你可以使用多少个数据点来训练任何神经网络，这是没有限制的。这是正确的，因为可以逐步训练的神经网络不需要“查看”整个数据集。

显然，如果您的机器能够在内存中存储至少一个图像和网络，则会有所帮助。

要对大量图像进行培训，您可能需要使用批处理。这意味着每次迭代都发生在数据的一个子集上，该子集可以像单个图像一样小。

Answer 2

没有任何框架或技术的CAP。

这就是组件会受到影响的方式-

圆盘空间

这将直接受到每幅图像的总数和大小的影响。

内存

这取决于您的层的深度，批处理大小，内核计数和单个图像的大小。请查看SE/Internet上的“CNN学习期间所需的RAM”

这意味着，如果上述参数固定，无论图像计数是1000还是100 k，都不会有太大的变化。

训练时间

这将取决于您的硬件和并行级别，但您不能做更多的批处理大小，因为背景需要在每个批处理之后调整渐变。

你必须思考的是

你的图像有这么多的变化吗。否则，学习将停止后，一定的图像计数。如果它在所有图像上都有差异，那么学习将非常缓慢。这意味着训练时间是你唯一担心的事情