为infiniband设置GPUDirect

Question

我尝试将GPUDirect设置为直接在设备内存上使用infiniband谓词rdma调用，而不需要使用cudaMemcpy。我有2台带有nvidia k80 gpu卡的机器，每台都有367.27版本的驱动程序。安装了CUDA8，Mellanox OfED3.4也安装了Mellanox插件：

-bash-4.2$ service nv_peer_mem status
nv_peer_mem module is loaded.

根据这个线程"How to use GPUDirect RDMA with Infiniband“，我有GPUDirect的所有要求，下面的代码应该成功运行。但是它没有，ibv_reg_mr失败了，出现了错误“坏地址”，就好像GPUDirect没有正确安装一样。

void * gpu_buffer;
struct ibv_mr *mr;
const int size = 64*1024;
cudaMalloc(&gpu_buffer,size); // TODO: Check errors
mr = ibv_reg_mr(pd,gpu_buffer,size,IBV_ACCESS_LOCAL_WRITE|IBV_ACCESS_REMOTE_WRITE|IBV_ACCESS_REMOTE_READ);

请求的信息：

使用mlx5。

最后一个内核日志：

[Nov14 09:49] mlx5_warn:mlx5_0:mlx5_ib_reg_user_mr:1418:(pid 4430): umem get failed (-14)

我是不是遗漏了什么？我需要一些其他的包，还是必须在代码中激活GPUDirect？

Answer 1

nv_peer_mem模块失败的一个常见原因是与统一内存的交互。您能否尝试禁用UVM：

export CUDA_DISABLE_UNIFIED_MEMORY=1

如果这不能解决您的问题，您应该尝试从validation和copybw测试从https://github.com/NVIDIA/gdrcopy检查GPUDirectRDMA。如果它有效，那么您的Mellanox堆栈配置错误。