谓词API中的RDMA分散/聚集

Question

RDMA Scatter/Gather是合并数据传输的好方法。例如，谓词API允许使用单个RDMA写入操作在远程缓冲区中写入多个位置的数据；或者，可以使用单个RDMA读取操作将远程缓冲区中的数据读入多个位置。

但是，我不能启动RDMA操作，写入远程侧的多个位置(或从远程侧的多个位置读取)。这个特性对我们很有吸引力，因为它有效地使用宽的RDMA通道进行多个小的写入。我还检查了Intel qsm API和Cray gni API。似乎没有人支持这样的特性--让我们称之为“作者控制的远程分散”。是否有深层次的原因不支持这一点？

Answer 1

对于谓词接口不支持它的原因，我没有一个很好的解释，因为它肯定可以在硬件中实现。

然而，至少有两种方法可以更有效地做到这一点: 1.更简单的方法--您可以同时发布多个远程位置的RDMA请求列表，并只为最后一个位置请求一个完整的条目--这将提供比一个地发布RDMA请求更好的性能。2.更高级的:您可以在远程主机上创建一个"UMR“，将所有这些位置分组为一个连续的虚拟MR，然后您可以使用该远程虚拟MR进行单个post操作。

Answer 2

RDMA写入具有有限分散列表的原因是，该列表必须通过有线传输，并由远程的HCA完成，并且HCA可以有有限的资源来存储这些信息。这与本地操作形成了对比，例如在机器上寄出一个接收描述符，其中描述符是本地的。