双口RDMA吞吐量问题

Question

我有两个节点通过IB交换机与双端口Mellanox Conon-X3 VPI HCA连接。节点是两个带有Hasswell CPU的套接字机器，每个套接字有2个16 per的DIMM(总计64 per)。一切看起来都很完美，除了那些看起来不对的性能数据。

当我运行ib_read_bw基准时：

server# ib_read_bw --report_gbits
client# ib_read_bw server --report_gbits

---------------------------------------------------------------------------------------
 #bytes     #iterations    BW peak[Gb/sec]    BW average[Gb/sec]   MsgRate[Mpps]
 65536      1000             37.76              37.76          0.072016
---------------------------------------------------------------------------------------

但当我运行双口时：

server# ib_read_bw --report_gbits -O
client# ib_read_bw server --report_gbits -O
---------------------------------------------------------------------------------------
 #bytes     #iterations    BW peak[Gb/sec]    BW average[Gb/sec]   MsgRate[Mpps]
 65536      2000             52.47              52.47          0.100073
---------------------------------------------------------------------------------------

我只得到了不到40%的改善(我是否错误地期望~2倍的单一端口带宽)？

我不知道这里的瓶颈是什么以及如何找到它。

其他可能有帮助的配置：

• 每个插座有8个核心，总体上每台机器有32个HTs。
• 每个DIMM提供~14 GB/S bw (每个套接字mem：~28 GB/s，总体~56 GB/GB)
• 我使用Mellanox的自动调优实用工具来调优中断。
• IB链路为4X10.0Gbps (FDR10) --每个40 Gb/s
• 我使用的是Mellanox OFED 4.3。

Answer 1

我认为这里的瓶颈是ConnectX和主机之间的ConnectX链接。ConnectX-3有一个Gen.3 x8 PCIe连接，它的理论最大值为63.04 Gbps (根据这个答案)，这不包括开销(参见这里)。

Answer 2

我有(2)系统，每个系统有一个MellanoxFDRMCX354A-FCBT CX354A (ConnectX-3 VPI.)只有(2)使用InfiniBand，我没有交换机，只是让他们直接连接。我在运行双Xeons (桑迪桥)

我有一个40 and /秒的电缆来阻止FDR连接，并且得到：

#bytes     #iterations    BW peak[Gb/sec]    BW average[Gb/sec]   MsgRate[Mpps]
65536      1000             31.11              31.11              0.059329

我得到了一条FDR (56 got /秒)电缆，并开始：

#bytes     #iterations    BW peak[Gb/sec]    BW average[Gb/sec]   MsgRate[Mpps]
65536      1000             49.58              49.58              0.094569

我一直在想，如果我同时使用这两个端口，情况会怎样，所以我试了一下，得到了：

#bytes     #iterations    BW peak[Gb/sec]    BW average[Gb/sec]   MsgRate[Mpps]
65536      2000             52.28              52.28              0.099717

哦，好吧。我可能不会为这个收益费心了。

我肯定认为haggai_e是对的，因为我的卡片也是PCI 3.0 x8。我想为了看得更快，我们需要3.0 x16或4.0卡。

双端口的另一个优点是，它们可以直接连接到不同的网络或机器，如果它们不不断地传输，则每个端口都能获得全速。