我需要帮助达到(尽可能接近) 40G网络传输速度(~1250 MB/s x 4)

Question

我有一个千兆网络，我最近升级到40 40Gbps。为此，我将TPLINK交换机替换为Cisco Nexus 9396PX交换机，该交换机有一个具有12x40G端口的模块。40G网络将安装了ESXi7的戴尔服务器连接起来。

问题是我无法达到40 40Gbps网络的吞吐量速度(~1250 MB/s x4)。

• 当我在两个虚拟机之间运行iperf时，带宽从6 Gbit/秒到10 Gbit/秒不等。我从来没能达到40 Gbit带宽。
• 当我使用scp复制文件时，传输速度约为110-120MB/S，这与一个40G网络的理论带宽1GB/s x4~4G/成都相差甚远。

最近我发现加密降低了传输速度，所以我设置了FTP服务器。传输速度提高了一倍。我得到了大约240-280 MB/s的传输速率，我还在主机和VM上将MTU更新到9000，但传输速率很低。

有人能帮我找出并解决这个问题吗？我想要40G网络带宽配置在交换机中反映在虚拟机中，传输速度尽可能反映40G网络的传输速度(~1250 MB/s x4)。

这是当前的体系结构详细信息：

• 带有40G模块的Cisco Nexus 9396PX交换机
• 4台戴尔PowerEdge R930服务器(VMware ESXi7主机)
• 每个服务器上的NVME磁盘
• ESXi7主机上40 Gbps Mellanox网卡
• 连接服务器以切换的QSFP+ DAC电缆

更新

我刚做了三次测试。我不能说有进步

第一次测试

1. 在交换机中，我检查了服务器接口上的MTU，并注意到它没有设置为最大。我试图把它设置为9000，但被拒绝了。它只能设置为1500或9216。我选择了最高的价值。
2. 仍然在开关中我固定速度到40G/s和禁用速度自动定位。
3. 我在ESXi主机上从VCenter禁用了速度自动调整。

然后我再做一次测试。这些更改不影响VM之间的scp复制速度传输速度(Ubuntu22.04)。但是，我注意到从FTP服务器下载(它安装在两个ubuntu之一上)时有了轻微的改进。

第二次测试

我在安装了Windows 10的VM上运行以下测试。

• 我向主机添加了两个Windows，并将它们配置为MTU设置为9000。
• 我在两个Windows之前为复制创建了一个共享文件夹。

当我将文件从共享文件夹复制到本地时，速度约为600 30/S，但当我从本地复制到共享文件夹时，复制开始于350 30/S左右，当速度达到30%时速度下降。

第三次测试

对于最后一次测试，我在一个窗口VM上安装了Filezilla，并将文件从/下载到FTP服务器( Ubuntu )。

• 下载开始时，下载速度约为450 to /S，约为50%，降至200 to/S左右。
• 上传速度约为200 is /S

Answer 1

40g基本上是一个4*10的连接。要从聚合带宽中获益，需要同时运行多个TCP会话。只有一个进程和一个TCP会话就无法达到估计带宽的总和。下面可以读到一些很好的描述：

https://www.starwindsoftware.com/blog/lacp-vs-mpio-on-windows-platform-which-one-is-better-in-terms-of-redundancy-and-speed-in-this-case-2