上传图像数据集后，Google内存就满了

Question

我正在处理一个有11个类的图像数据集的分类问题。它总共包含11,000个图像，每个类都有1000个图像，按文件夹顺序存储(11个文件夹)。数据集大小约为40 is。当我上传来自google驱动器的数据到collab(这实际上需要一段时间)并在输入模型之前对其进行预处理后，collab的内存瞬间就会达到95%。当我开始训练时，collab崩溃，运行时被重置。当我使用Keras数据流目录函数时，不会发生这种情况。我找不到解决办法。屏幕截图

Answer 1

之所以会发生这种情况，是因为通过调用fit和验证数据集，您将迫使colab同时在ram上加载所有图像，您需要编写一个生成器，对于大多数已经编写的代码来说，一个简单的解决方案是使用tfrecords，而keras将处理其余的代码。

数据/tfrecord记录

您需要将图像存储在磁盘上，并在培训期间进行，而不是一开始就全部进行。