了解任何网络(即infiniband)的最大文件传输速度

Question

梅拉诺克斯 infiniband HDR我必须与之合作，据说是100 gbps。

在使用my30gb.tar执行单个rsync --progress文件副本时，我观察到后续副本的最大值为480 MB/秒，平均为460 MB/秒，假设在第一次my30gb.tar被缓存在ram中之后，所以我没有受到安装的SAS读取速度的限制。而且，对30 to tar文件的目标的写入最初将进入RAM。源服务器和目标服务器都有700 RAM的RAM。

在铜1 1gbps上，使用samba进行从win10到/从我的服务器的相同类型的复制，我总是得到一个固定的112 MB/秒。这就是我的参照点。例如：

如果我的infiniband HDR是100倍，为什么我的rsync --progress没有显示出接近100倍的速度改进？我只看到了450 MB/秒的希望已经达到112,000 MB/秒。450 / 112,000是不到1%的改善？迷惑了。

我意识到所宣传的infiniband网络速度是以位每秒为单位的，但是我正在寻找一些我可以与之相关的东西，即预期的文件传输速度(每秒以字节为单位)和大文件传输所需的时间

在我的infiniband HDR上的两个linux服务器之间，没有其他开销或流量，NFS连接是v4.1和协议TCP。我使协议RDMA工作，并且仍然使用那个30 got的tar文件观察到相同的传输值。

是否有可以/应该进行的网络优化或nfs优化？如果一切都做好了，我期望在infiniband HDR上实现什么最大的文件传输速度？希望了解的限制因素，因为它涉及到在NFS上的文件复制速度，通过某些网络，无论是1 1gbps铜，或100 1gbps，或其他什么。如果有人用上一代的infiniband有洞察力..。FDR，EDR，QDR和他们是比1 gbps铜更快，我很想知道你能提供的信息。

挂载NFS挂载参数是默认的，并显示为

(rw,nosuid,noexec,relatime,vers=4.1,rsize=1048576,wsize=1048576,namlen=255,hard,proto=tcp,timeo=600,retrans=2,sec=sys,clientaddr=192.168.1.2,local_lock=none,addr=192.168.1.1,_netdev)

Answer 1

如果进行仔细的配置，可以使用NVMEoF获得持续的、接近链接速度的读写性能。仔细的配置包括:您是否有足够的PCIe带宽来处理NIC？一个PCIe第3代由16车道插槽是足够快的一个100 Gbit无限带链接。然后，您必须确保您有足够的PCIe带宽和足够的PCIe通道，以便将数据发送到NVME阵列，如果您使用的是4车道NVME设备，则必须将设备分布在计算机可用的车道上。您希望确保NIC和NVME数组位于计算机中相同的PCIe主机上。您需要考虑使用PCIe带宽的其他东西是什么。

随着Infiniband和其他高速网络的出现，让内核、CPU、中断等远离数据传输变得非常重要。它们往往是限制因素。最糟糕的情况之一是CPU不得不触摸缓冲区。

Infiniband的一个关键优势是能够进行远程直接内存访问( RDMA )，而无需任何CPU干预。您正在通过网络接口卡(，NIC )将数据从内存转移到远程计算机NIC，然后DMA直接进入内存。

首先，确保Infiniband、NIC和NVidia (Mellanox)的配置是正确的，并且正在执行广告中的100 gbps。您可以使用NVidia提供的“完善测试”来完成这一任务。

Infiniband发送带宽，ib_send_bw，测试是一个起点。

在一台Infiniband连接的计算机上只运行"ib_send_bw“。另一方面，运行"ib_send_bw XXX.XXX“，其中XXX.XXX是第一台计算机的Infiband适配器的IP地址。

https://www.ibm.com/docs/fi/linux-on-systems?topic=linuxonibm/performance/howtos/verifyrdma.htm

您还可以使用iperf3或netcat (nc)来获得估计值。例如，这个问题和答案：

https://askubuntu.com/questions/7976/how-do-you-test-the-network-speed-between-two-boxes

默认情况下，rsync希望进行增量/差异比较，这涉及CPU读取缓冲区。压缩或在ssh中使用rsync会降低性能，因为CPU需要读取和操作所有数据。使用已经能够在不涉及CPU的情况下传输数据的东西有一些优点，例如NVMEoF (NVMEoF)、iSCSI和其他。