通信协调软件 MPI 通用接口,可调用 Open-MPI, MVAPICH2, Intel MPI等。
MVAPICH2、Intel MPI、Platform MPI 都是基于 MPICH 开发的。OpenMPI 由多家高校、研究机构、公司共同维护的开源 MPI 实现。 Eager 协议在消息大小小于 16KB(在 MVAPICH2 中的默认 Eager 阈值)时都可以提供更低的通信延迟,但在消息大小大于 Eager 阈值后,Rendezvous 模式的优势开始显现。
软件系统方面,支持Linux/Intel MKL和Mvapich2 。 ? 设计框架中的主节点为MPI单进程+多Pthread线程,从节点为MPI多进程,图中展示了整个网络训练的框图。 ?
目前存在多种 MPI 实现(例如 Open-MPI、 MVAPICH2、Intel MPI),每一种都针对不同目的进行了优化。
存在几种 MPI 的实现(例如 Open-MPI、MVAPICH2、Intel MPI),每种都针对不同的目的进行了优化。