- 综合排序
- 最热优先
- 最新优先
- 来自专栏焱融科技
关于MPI-IO，你该知道的
在高性能计算中，经常会用到MPI或者MPI-IO，那MPI和MPI-IO到底是什么呢？ MPI-IO中间件 在HPC系统中，IO软件栈的中间件通常由MPI-IO的软件类库提供。 应用程序可以通过使用MPI-IO提供的缓存和数据过滤技术，来整体提升数据访问性能，例如，ROMIO就是MPI-IO标准中比较常见的实现。 高性能计算程序的读写操作基于MPI-IO层之上，可以充分利用MPI-IO对数据读写的优化特性。 简单而言，MPI-IO利用了MPI的消息传递机制，基于POSIX语义，提供了一套为高性能计算访问数据的接口规范，不同的MPI-IO类库提供了不同的MPI-IO实现，而MPI-IO的实现的核心，是底层文件系统中各种
2.7K20发布于 2021-03-08 IOR and mdtest - measure parallel file system IO performance at both the POSIX and MPI-IO level.
IOR 设计用于测量POSIX和MPI-IO级别的并行文件系统的I/O的性能;mdtest 被设计用于测试文件系统的元数据性能并生成测试报告； 官方网站: https://www.nersc.gov/users
89310发布于 2020-12-30- 来自专栏DPU
一文入门高性能计算HPC-详解1
我们在 IOPADS '99 论文“关于可移植且高性能地实现 MPI-IO”中讨论了 MPI-IO 实现问题。 学习 MPI-IO 麻省理工学院出版社出版的《使用 MPI-2：消息传递接口的高级功能》一书提供了 MPI-2 各个方面的教程介绍，包括并行 I/O。它有很多示例程序。 使用这种方法，我们在 PFS、PIOFS、Unix 和 NFS 文件系统上实现了 MPI-IO、Intel PFS 和 IBM PIOFS 接口。 IOR 还具有 MPI-IO 后端，为了将此 MPI-IO 后端与 DAOS 一起使用，必须使用包含 DAOS ROMIO 后端的 MPI 堆栈来构建和运行 IOR。 有关详细信息，请参阅 MPI-IO 支持(https://docs.daos.io/latest/user/mpi-io/)。
1.1K01编辑于 2025-03-29 - 来自专栏AI
一文入门高性能计算HPC-详解2
为了避免这个问题，MPI-IO 允许用户使用单个 I/O 函数调用访问不连续的数据，这与 Unix I/O 不同。 在本文中，我们将解释 MPI-IO 的这一特性对于高性能的重要性，以及它如何使实现能够执行优化。 我们首先对 MPI-IO 中表达应用程序 I/O 需求的不同方式进行了分类——我们将它们分为四个级别，称为级别 0 到级别 3。 然后，我们描述我们的 MPI-IO 实现 ROMIO 如何为非连续请求提供高性能。 但是，要使用 MPI-IO 实现高性能，用户必须使用 MPI-IO 的一些高级功能，尤其是非连续访问和集体 I/O。
68302编辑于 2025-09-13 - 来自专栏Juicedata
从 HPC 到 AI：探索文件系统的发展及性能评估
这种设计优化了对 MPI 应用的支持，特别是 MPI-IO，即多个进程同时对一个文件进行读写的能力，这对于并行计算和科学研究应用尤为重要。 虽然在 AI 和机器学习应用中，MPI-IO 的直接应用可能较少，主要因为这些应用的文件操作主要写入 checkpoint，而不涉及分布式进程的直接写入。 然而，对于需要并行处理和复杂数据交互的科学计算应用，MPI-IO 这样的特点仍然极其重要。
63510编辑于 2024-03-07 - 来自专栏深度学习与python
从 HPC 到 AI：探索文件系统的发展及性能评估
这种设计优化了对 MPI 应用的支持，特别是 MPI-IO，即多个进程同时对一个文件进行读写的能力，这对于并行计算和科学研究应用尤为重要。 虽然在 AI 和机器学习应用中，MPI-IO 的直接应用可能较少，主要因为这些应用的文件操作主要写入 checkpoint，而不涉及分布式进程的直接写入。 然而，对于需要并行处理和复杂数据交互的科学计算应用，MPI-IO 这样的特点仍然极其重要。
44310编辑于 2024-03-26 - 来自专栏daos
Intel高性能IO500分布式存储系统DAOS资源汇总-包含RDMA 网络 SPDK NVME TSE 任务调度 异步 事件队列等
需要注意的是，虽然DAOS提供了POSIX抽象层，但它也可以直接与自定义I/O中间件（如MPI-IO、HDF和几个AI/分析框架）集成，以提供比POSIX更多的功能。
2.9K171编辑于 2025-07-24 - 来自专栏存储公众号：王知鱼
【存储100问】HPC 存储架构选型：IO500 榜单的思考
消息传递接口（MPI）是HPC中主流的通信模型 7，而MPI-IO将其扩展到了存储领域，允许“集体I/O”操作，即多个进程协同地并行读写单个共享文件 6。这种模型与并行文件系统的架构完美契合。 核心原则 共享、一致的并行访问 数据本地性（移动计算到数据） 计算与存储解耦、可扩展性 关键访问模式 大规模顺序读写、并行I/O 流式读取、全表扫描 大量小文件的随机读取 主导API/接口 POSIX, MPI-IO
63011编辑于 2025-06-30 - 来自专栏daos
DAOS分布式存储_用户态文件系统dfuse_IO全路径(任务调度_RPC_RDMA_BULK_SPDK_NVME_EC_SGL等)
需要注意的是，虽然DAOS提供了POSIX抽象层，但它也可以直接与自定义I/O中间件（如MPI-IO、HDF和几个AI/分析框架）集成，以提供比POSIX更多的功能。
1.7K61编辑于 2024-09-21
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号