MemoryError for np.array

Question

我正在Ubuntu16.04上尝试Keras代码，链接如下：https://www.hackerearth.com/challenge/competitive/deep-learning-3/machine-learning/predict-the-energy-used-612632a9/#c144537

我得到了“MemoryError：”

X_train = np.array(train_img, np.float32) / 255.

知道吗，我该怎么办？

Answer 1

MemoryError正是它的意思，您已经耗尽内存中的内存以供代码执行。

当发生此错误时，可能是因为您已将整个数据加载到内存中。对于大型数据集，您需要使用批处理。与其将整个数据集加载到内存中，不如将数据保存在硬盘驱动器中并分批访问。如果您正在使用Keras，则有一个具有非常高效的批处理实现的助手类。看看这个博客帖子。这是避免MemoryError的一个很好的起点。

作为短期修复，您可以使用可用数据的子集来训练您的模型，并放弃其余的数据。然而，这样做实在是令人遗憾。