MPI-2文件格式选项

Question

我正在尝试使用MPI-2来加速我的文件I/O，但是似乎没有任何方法来读/写格式化的文件。我的许多I/O文件都经过格式化，以便进行预处理和后处理。

对于格式化I/O的MPI-2解决方案，有什么建议吗？

Answer 1

在生成某种可移植的、合理的文件格式时使用MPI-IO，通常的答案是使用HDF5或NetCDF4。这两者都有一个真正的学习曲线(但也有很多tutorials )，但结果是你拥有了可移植的、自我描述的文件，有无数的工具可以访问、操作等。

如果你所说的“格式化”输出指的是人类可读的纯文本，那么作为一个经常做这些事情的人，如果我没有足够的敦促你开始远离这种方法，我就不会做我的工作。我们大体上都是这样开始的，转储纯文本，这样我们就可以快速看到发生了什么；但这不是进行生产运行的好方法。文件变得臃肿，I/O变慢了(我经常看到使用ascii作为二进制比使用ascii慢6倍，部分原因是你一次写出小块，部分原因是字符串转换)，还有什么原因？如果输出的数据如此之少，以至于您实际上可以有效地读取和理解输出，那么您就不需要并行I/O；如果有如此多的数字，您无法真正可信地翻阅所有这些数字并了解发生了什么，那么还有什么意义呢？