以太网上的RDMA

Question

我从未使用过RDMA。虽然是在单台PC上，但我已经运行了使用DMA进行内存传输的命令。我可以通过以太网使用RDMA吗(我使用的是支持10BASE-T、100BASE-TX的交换机)。

我将使用MPI从两台独立于CPU的机器上访问数据。

这有可能吗？或者我必须购买一个特殊的硬件？

Answer 1

您需要支持RDMA的以太网卡，还需要可以使用这些卡的交换机。然后，您将需要MPI来支持这些以太网卡的驱动程序提供的协议。

这个协议(据我所知，可能还有其他协议)是RoCE，它是Converged Ethernet上的RDMA (点击链接获取关于这个东西的一些细节)。

据我所知，支持RoCE的MPI实现有Open MPI (go here for FAQ)和MVAPICH，我相信还有其他的。

玩得开心。

Answer 2

我现在开始支持Isis2中的RDMA (Isis2.codeplex.com)，无论是在Windows上还是在Linux上。因此，对于那些不喜欢使用MPI的人来说，这将是第二个选择。当然，我知道您专门针对MPI提出了这一点，我之所以提到它，只是因为MPI有点僵化(例如，不能容错)。

My stuff提供了广泛的多播和数据复制选项，并且是容错的。RDMA只是众多配置选项中的一个。

Answer 3

以太网上的RDMA称为RoCE，它需要网卡、交换机和电缆。一家名为Mellanox的公司就是这种解决方案的供应商之一。

Mellanox还为RDMA高绑定宽度、低延迟的网络结构提供了一种解决方案，称为InfiniBand。

您可以在http://www.mellanox.com上找到相关信息

大多数MPI实现都支持RDMA，包括OpenMPI。我在RoCE上使用过openmpi，性能比TCP/IP套接字要好得多。

这是RDMA技术的官方网站：https://www.openfabrics.org