分布式文件系统中ASCII文件的并行导出

Question

我需要在分布式文件系统上导出ASCII文件。目前，我在每个节点上以附加模式打开文件流到同一个文件。然后逐点导出所有数据。此解决方案在分布式文件系统上是否正确工作，还是有必要使用MPI-I/O？我似乎不太理解并行文件系统的概念。

文件必须是ASCII。

Answer 1

使用MPI-I/O，您不能并行地在文件末尾追加数据。您可以并行地将数据写入文件的特定位置(通过每个MPI进程将数据写入不同的位置)，因此您需要知道每个进程的偏移量。这对ASCII文件来说可能不可行。

另一种选择是由每个MPI进程(并行)编写一个单独的文件，然后将这些文件合并到一个并行程序范围之外的单个文件中。