没有GPUDirect的cuda编程模型

Question

我使用的是没有GPUDirect支持的GPU集群。在此简报会中，在节点间传输GPU数据时执行以下操作：

1. GPU写入固定的sysmem1
2. 从sysmem1到sysmem2的CPU副本
3. 来自sysmem2的Infiniband驱动程序副本

现在，我不确定当我使用MPI在Infiniband上传输sysmem1时，第二步是否是一个隐式步骤。通过这样的假设，我当前的编程模型如下所示：

1. cudaMemcpy(hostmem，devicemem，size，cudaMemcpyDeviceToHost)
2. MPI_Send(hostmem .)

我的上述假设是正确的吗?我的编程模型能在不引起通信问题的情况下工作吗？

Answer 1

是的，您可以独立使用CUDA和MPI (即不使用GPUDirect)，正如您所描述的那样。

1. 将数据从设备移动到主机。
2. 使用MPI像往常一样传输数据

您可能对这份报告感兴趣，它解释了CUDA感知的MPI，并给出了非CUDA和CUDA MPI的幻灯片11上的并排示例。