测试网络传输速度和硬件限制

Question

这在某种程度上是一个计算机工程和网络工程问题，但它是基于linux的，因为infiband主要是通过linux操作系统使用的。我对在硬件上使用linux操作系统时的速度限制感兴趣。

Infiniband (mellanox)已经发布了许多数据速率: QDR，FRD，EDR，HDR。

目前HDR为100 gbps或200 gbps (见mellanox 2021年的广告)。

在使用iperf在rhel 7.9下通过IPoIB时，iperf报告的最大传输速度为24.0Gbps(通过TCP，我相信)。在100 gbps，即24%，而在1 gbps网络上报告的942 mbps是94%。

我的问题是:随着无限带从HDR到未来的NDR和XDR，无论这些gbps可能是什么，有人能报告或计算出阻塞点可能在哪里吗？例如，我做了，SSH scp测试和ssh密码选择很重要，结果要么是1.600 hbps达到5.6Gbps (200 MB/s或700 MB/s)的传输速度，我认为这是cpu处理和执行所选加密方案的能力的限制。

关于cpu / DDR4 ram /芯片组/ PCIe车道限制与100 What的网络速度有关的数字是多少？

目前的英特尔或AMD 芯片组？与LGA1200或LGA3647和PCIe 3.0吊带位到梅拉诺克斯infiniband卡能有多快？

我如何在linux 拉赫尔7.9中测试这类东西，这是最好的方法吗？

Answer 1

InfiniBand (至少Mellanox硬件)使用CPU卸载，可以在不需要大量CPU负载的情况下获得很高的吞吐量。在InfiniBand包中使用灌流试验谓词性能测试可以很好地测试原始速度，例如ib_write_bw。测量的数据速率通常大于指定连接速率的95%。

iperf工具默认使用一个TCP连接，这是这里的主要瓶颈。TCP连接是CPU密集型的，单个TCP连接不能使快速InfiniBand连接饱和.使用多个TCP并行连接(-P选项到iperf)，可以更接近多核机器上的InfiniBand网络数据速率。但一般来说，由于TCP连接的开销很大，因此不太适合于快速网络。