使用HDF5和MPI从Python中使用1个进程编写/读取大型文件

Question

当使用并行HDF5通过h5py和mpi4py将大型数据集写入文件时(当直接从C中使用HDF5和MPI时也很可能)，如果将mpio驱动程序与单个进程一起使用，则会出现以下错误：

OSError:无法为写入数据做准备(不能从大小转换为size_i)

似乎允许的数据集的限制是4GB，至少当内容是双数组时。如果使用更多进程来共享工作负载，或者在没有mpio驱动程序的情况下在单个CPU上完成，则更大的数据集可以正常工作。

为什么会这样呢？是size和size_i指针类型，而前者的地址不能大于4GB double[]的地址吗？这个错误最终对我来说可能不是一个严重的问题，因为我一般会使用一个以上的进程，但是我希望我的代码即使只使用一个进程也能工作。

Answer 1

我最近也面临着同样的问题，而挖掘也让我意识到了这一点：

https://www.hdfgroup.org/ftp/HDF5/releases/hdf5-1.8.1/src/unpacked/src/H5FDmpio.c

您将在其中看到正在引发的错误。简单地说，当数组的大小大于2GB时，就会出现错误。

经过进一步的挖掘，我来到这里：https://www.hdfgroup.org/hdf5-quest.html#p2gb

其中描述了问题和解决办法。

请看一下。