MemoryError:无法为具有形状(725000,277，76)和数据类型float64的数组分配30.4 GiB

Question

它会给出内存错误，但永远不会达到内存容量。我在SSH上有60 GB的内存，整个数据集进程消耗了30，我正在尝试用k-fold训练一个自动编码器。在没有k-折叠法的情况下，训练效果良好。原始数据集包含250,000个hdf5格式的数据。对于K-fold，如果我使用的数据少于总数据的100000，它就可以工作。我已经将它转换为float32，但仍然不能工作。我也尝试过echo 1，但它会自动终止python程序。

Answer 1

考虑到您提供的数据集的维度(725000 x 277 x 76)及其数据类型(float64 - 8字节)，似乎需要(至少)大约114 GB才能将数据集加载/存储到内存中。

克服此限制的解决方案是: 1)通过超实验室选择读取一定量的数据集(例如，当时为1 GB的块)并将其加载/存储在存储器中，2)对其进行处理，以及3)重复该过程(即，转到步骤1)，直到数据集被完全处理。这样，您就不会耗尽RAM内存。