改变python中巨大的HDF5数组的数据类型

Question

我有4个HDF5文件，每个文件的大小约为15 in。每个都是N_i x 2048x7x7的形式，每个都是float64格式的。我想将它们合并成一个类型为float32的单一Nx2048x7x7数据集。我已经阅读了h5py文档，并且知道数据集的数据类型是不能更改的。

所以我唯一的想法就是

1. 将所有文件转换为numpy数组。
2. 合并数组。float32.
3. Create
4. 从float64转换为新的dataset.

这种方法的明显问题是，我只有32 in的RAM，无法将这些数组安装在内存中。我如何绕过这些限制呢？

Answer 1

首先，我同意，尝试以numpy的形式加载它们，然后更改dtype以获得一些内存。

import numpy as np
import h5py

hf = h5py.File('file.h5', 'r')
n1 = np.array(hf["dataset_name"][:])

print(n1)

步骤3之后，如您所述，如果您的系统内存不够，那么如果您希望同时加载所有内容，那么就没有解决方案。您将需要找到一台具有足够内存的机器来执行此任务。