InfiniBand与MPI

#include <infiniband/verbs.h>初始化连接：初始化 InfiniBand 的连接，创建端点等。 最后，请注意，只有在您的硬件和操作系统支持InfiniBand，并且已安装了必要的InfiniBand驱动程序和库时，MPICH才能使用InfiniBand。 /infiniband/arch.h/usr/include/infiniband/driver.h/usr/include/infiniband/driver_exp.h/usr/include/infiniband /kern-abi.h/usr/include/infiniband/kern-abi_exp.h/usr/include/infiniband/marshall.h/usr/include/infiniband /ofa_verbs.h/usr/include/infiniband/opcode.h/usr/include/infiniband/peer_ops.h/usr/include/infiniband

Infiniband性能测试

Capability mask: 0x02594868 Port GUID: 0x0002c90300b382a1 Link layer: InfiniBand Capability mask: 0x0259486a Port GUID: 0x0002c90300b382a2 Link layer: InfiniBand

Linux 环境下 IB(InfiniBand) 组网认知

使用IPoIB技术，可以在InfiniBand网络上实现IP数据包的传输，从而利用InfiniBand的高速和低延迟特性。 名词的解释 在 InfiniBand 组网中，涉及了一些专有名词和术语，以下是这些名词的解释： InfiniBand适配器(HCA)(网卡)：InfiniBand适配器是连接InfiniBand网络的设备 InfiniBand子网管理器(SM)(InfiniBand 交换机)：InfiniBand子网管理器是一个特殊的InfiniBand适配器，用于管理整个InfiniBand网络。 在这个过程中，两个InfiniBand适配器交换相应的信息并确定通信能力和资源。 InfiniBand数据报(IB包)：InfiniBand数据报是在InfiniBand网络上传输数据的基本单位。 为此，需要在 InfiniBand 网络中确认 InfiniBand 适配器已启用 IPoIB 功能。

InfiniBand，到底是个啥？

█ InfiniBand的发展历程 InfiniBand（简称IB），是一种能力很强的通信技术协议。它的英文直译过来，就是“无限带宽”。 Infiniband的诞生故事，还要从计算机的架构讲起。 后来，NGIO和FIO合并，Mellanox随之加入了InfiniBand阵营。2001年，他们推出了自己的首款InfiniBand产品。 2002年，InfiniBand阵营突遭巨变。 InfiniBand组网示例 InfiniBand的二层处理过程非常简单，每个InfiniBand子网都会设一个子网管理器，生成16位的LID（本地标识符）。 在InfiniBand 网络中，数据同样以数据包（最大4KB）的形式传输，采用的是串行方式。 InfiniBand的协议栈 InfiniBand协议同样采用了分层结构。 InfiniBand的链路速率 InfiniBand链路可以用铜缆或光缆，针对不同的连接场景，需使用专用的InfiniBand线缆。

rocky 8 如何配置infiniband网络

建议安装Infiniband Support包。 dnf groupinstall -y "Infiniband"然后查看端口配型，需要安装mstflint工具dnf install mstflint检查ib的设备的pci地址[root@storage01 [root@storage01 ~]#重启完成后，我们可以用nmtui添加infiniband配置了可以修改成下述配置（注意：IPoIB 设备可在 Datagram 或 Connected 模式中配置。

网络虚拟化:高效通信协议-InfiniBand介绍

此类网络结构的示例包括互联网广域 RDMA 协议 (iWARP) [1]、融合以太网上的 RDMA (RoCE) [2] 和 InfiniBand [2]。 2.背景 尽管 iWARP、RoCE 和 InfiniBand 协议提供了一组独特的操作，但是采用适当的协议需要了解每种协议的优点和缺点。 相反，RoCE是InfiniBand贸易协会（ITA）发布的基于以太网的RDMA解决方案，支持可靠和不可靠的传输。InfiniBand 是一种先进的网络协议，具有低延迟和高带宽，常用于商用服务器。 例如，iWARP 和 RoCE 旨在与传统以太网协议兼容，InfiniBand 通过 IP over InfiniBand (IPOIB) 支持传统套接字应用。 此外，图 6 表明，尽管两种操作具有相同的 InfiniBand 路径，但 WRITE 提供的吞吐量高于 READ。

35页PPT，了解InfiniBand和RoCE

InfiniBand和以太网有什么区别？

InfiniBand技术规范由InfiniBand行业协会（IBTA）定义并推动在数据中心的广泛应用。 Infiniband介绍与使用.pptx Infiniband-network架构协议详解1277页 关于InfiniBand和以太网的一些常见问题收集如下： 问：InfiniBand和以太网有什么区别 问：InfiniBand的速度与以太网相比如何？ 答：与传统以太网相比，InfiniBand的速度要高得多。 InfiniBand还支持远程直接内存访问 (RDMA)，允许在系统间传输数据而不涉及CPU。 问：InfiniBand是开放标准吗？ 答：是的，InfiniBand是一种开放标准。 问：什么是InfiniBand HDR？ 答：InfiniBand HDR（高数据速率）是InfiniBand标准的最新版本。与前几代产品相比，它的速度更快，性能更好。

InfiniBand解决方案助力领先科技公司网络升级

国家：越南行业：信息技术网络类型：InfiniBand网络方案类型：HPC网络案例亮点通过真实使用场景的全面测试，确保出色兼容性和高可用性，显著降低部署风险和运营成本。 建立高带宽、低延迟的InfiniBand网络，提升系统稳定性和性能，促进数字化转型。全球客户获得可靠的高速网络连接，享受无缝的游戏和娱乐体验。 在计算网络方面，该公司部署了NVIDIA® QM9790 InfiniBand交换机，并采用800G OSFP InfiniBand光模块，以实现脊交换机、叶交换机与GPU服务器之间的高速连接。 飞速（FS）的NVIDIA® Quantum-2 InfiniBand技术促使其升级为高性能、超低延迟且具备高度可扩展性的网络，充分发挥了RDMA和加速网络内计算等先进技术的优势。 采用高性能的InfiniBand网络进一步推动了公司的数字化转型。*文章来源于飞速（FS）官网

挑战 InfiniBand，超以太网联盟不是第一个！

大模型数据中心网络：InfiniBand与RoCE的终极对决！

那么，在这篇文章中，我们将对InfiniBand和RoCE进行深入的比较，以帮助您找到适合您的AI数据中心网络架构。 ​ 带宽和延迟 InfiniBand和RoCE都提供了极高的带宽和低延迟的网络连接，使数据能够在极短的时间内传输到目的地。然而，InfiniBand在带宽和延迟方面具有轻微的优势。 InfiniBand同样具有出色的易用性和可扩展性。它使用标准的以太网硬件，并支持即插即用功能。然而，与RoCE相比，InfiniBand的部署成本较高，因为需要额外的硬件和软件支持。 InfiniBand也提供了卓越的容错性和可靠性。它使用星型拓扑结构，支持冗余路径和链路聚合，以提高网络的可用性和稳定性。然而，与RoCE相比，InfiniBand的硬件成本和复杂性可能会更高。 另一方面，InfiniBand需要额外的硬件和软件支持，增加了总体拥有成本。 综上所述，无论您选择InfiniBand还是RoCE作为您的AI数据中心网络架构，两者都能满足高性能AI系统的需求。

毅硕HPC | InfiniBand网络在HPC集群中的核心应用

在众多网络技术中，InfiniBand（IB）凭借其超低延迟、高带宽和硬件级卸载能力，已成为HPC领域的黄金标准。 据TOP500最新统计，超过65%的顶级超算系统（包括Frontier、Fugaku等）均采用InfiniBand作为主干网络，这绝非偶然。 而InfiniBand通过硬件级创新解决了这一瓶颈，其重要性体现在以下核心维度：1.   远程直接内存访问（RDMA）InfiniBand原生支持RDMA，允许节点绕过CPU直接读写远程内存，减少90%以上协议栈开销。 此时存储流量不经过InfiniBand网络。2.   部署与配置要点：物理布局：为优化线缆长度，将InfiniBand交换机部署在机架中部位置。

RDMA Infiniband - IB通信管理-子网管理(SM)和子网代理(SMA)

通信管理包含用于建立、维护和释放 IB 可靠连接、不可靠连接和可靠数据报传输服务类型的通道的协议和机制。 服务 ID 解析协议（参见第 12.11 节）使不可靠数据报服务的用户能够找到支持其所需服务的队列对。 通过本文描述的协议，在每个系统上的通信管理器(CM)之间通过除了用于连接的队列对之外的队列对来管理连接。 （参见图 131）CM 使用管理数据报 (MAD) 进行通信，通常通过每个系统上的通用服务接口 (GSI)

算力革命：RoCE实测推理时延比InfiniBand低30%的底层逻辑

在此背景下，RoCEv2（RDMA over Converged Ethernet v2）凭借其零拷贝传输、微秒级延迟及以太网兼容性，成为替代InfiniBand（IB）的高性价比方案。 为了评估真实的 AI 推理性能，我们在 H20 高性能服务器集群上部署了 DeepSeek 大型语言模型，该集群具有双节点，每个节点有 8 个 GPU，通过超低延迟 AI 交换机 CX864E-N 和传统的 InfiniBand CX864E-N 具有更快的处理速度、更低的网络延迟和远优于 InfiniBand 的性价比，使 AI 服务提供商能够加速大规模大型模型部署，同时大幅降低成本。 更高的 TGR 意味着：每秒处理的更多请求更高的输出效率更好的资源利用率降低运营成本测试结果清楚地表明，与传统的 InfiniBand （IB） 相比，AI智算交换机可提供更低的 P90ITL 和更高的 改变游戏规则的成本优势：它的价格仅为传统 InfiniBand 解决方案的三分之一，可在不影响性能的情况下大幅削减基础设施成本。

活动 | GreatSQL出席NVIDIA InfiniBand 存算分离数据库在线研讨会

1 月 13 日，NVIDIA 联合智东西公开课策划的「InfiniBand 池化方案与存算分离数据库在线研讨会」正式召开。 NVIDIA 使用 InfiniBand 网络 NVMe over Fabric 的 SSD 池化方案，实现了多台服务器共享 NVMe SSD，在配置 NVMe SSD 上配置高性能分布式块存储系统，将逻辑的 GreatSQL 介绍 NVIDIA InfiniBand 是一种被广泛使用的网络互联技术，基于 IBTA（InfiniBandTradeAssociation）而定义的高带宽、低延时、低 CPU 占用率 NVDIA InfiniBand 介绍 本次万里数据库开源生态负责人叶金荣老师的分享，详细讲解了在 NVIDIA InfiniBand NVMe SSD 设备上，对 GreatSQL 进行性能测试的实战和优化经验 机制，提升 MGR可靠性、性能及大事务的并发性能及稳定性，基于NVIDIA InfiniBand打造数据库+网络软硬一体化联合解决方案，为用户带来更流畅的数据库使用体验。

Gartner：以太网的进步将终结 InfiniBand 在 AI 网络领域的领先地位

Gartner 终于下场了 最新推出的新兴技术报告 由分析师Anushree Verma撰写 为生成式 AI 网络提供前瞻性的见解 核心观点 对于那些考虑 InfiniBand 的人，Verma写道， 有必要“通过评估基于 InfiniBand 的交换机与基于超以太网的交换机，重新评估网络选择的性能、可靠性、可扩展性和价格。” InfiniBand 鉴于GPU由单一供应商主导，InfiniBand 是生成式 AI 应用中以太网的可行替代方案；然而，InfiniBand网络的价格较高，并且没有开放的生态系统 InfiniBand 但是预计 30% 的生成式 AI 流量将在InfiniBand上运行，目前这一比例还不到 20% Gartner 认为它“具有可扩展性限制，并且需要特殊技能来管理”，这意味着一些网络设计人员会因为难以管理的复杂性避免使用 可能被证明是有效的替代方案 到 2028 年，45% 的生成式 AI 流量将在以太网上运行，目前这一比例还不到 20% Gartner 认为目前以太网用于 AI 训练 “不理想”，但三项创新将使以太网成为 InfiniBand

替代Infiniband交换机，星融元带来新一代HPC网络解决方案，优势明显

以往，在这种高性能承载网络的选择上，人们通常会选用IB网络或RoCEv2网络，但InfiniBand（IB）解决方案其实暴露出了很多问题： 厂商垄断：目前只有一家厂商有成熟的IB产品&方案，厂商锁定，方案价格非常昂贵 兼容性低：InfiniBand采用单独的通讯协议，非TCP/IP协议族，无法做到与其他网络设备互通互访 售后服务响应不理想：IB专网运维依赖原厂，故障定位困难，且解决问题时间较长 供货周期长：受各种因素影响

10G~800G Infiniband物理层吞吐量、线速度、编码开销、带宽整理

Infiniband专为高性能计算设计，采用原生RDMA技术，提供超低延迟和高吞吐量，支持无阻塞Fat-Tree拓扑，在大型模型训练（如千卡GPU集群）中能显著减少通信瓶颈，但其有别于以太网的物理层标准

超低时延交换机CX-N，让Infiniband交换机不再是唯一的选择

然而，客户这次叫我们来，目的却是想换掉他们，一台不留。客户无奈地说，IB 交换机的时延方面，没得说，但是”想买到“太难了，由于IB 交换机只支持IB 通信协议，所以每当有扩容的需求时，也只能继续选择IB 交换机，但IB 交换机太难买到，尤其是去年全球供货市场都紧张的情况下，更是遥遥无期，今年市场供应好了很多，客户反应说，依旧要6个月起步，根本等不起！此外，一旦交换机出点什么问题，想找售后，更是根本找不到，相隔两个大陆，一个太平洋的距离让客户对”及时响应“也只能是想想罢了，价格贵还能忍，但是想用的时候没有供应，绝对不能忍！

RDMA技术系列一：rdma技术简介

它们之间有以下的优缺点对比： 投入成本：InfiniBand的投入成本较高；RoCE成本较低；iWARP成本介于两者之间。 易用性：RoCE和iWARP的易用性比InfiniBand高；因为它们都是基于以太网协议栈的，具有良好的互操作性和兼容性，而InfiniBand则需要使用专用的协议栈和驱动程序。 带宽：三者的带宽都很高，但InfiniBand的带宽最高；RoCE和iWARP的带宽一般在40 Gb/s至100 Gb/s之间。 延迟：InfiniBand的延迟最低；RoCE和iWARP的延迟较低，但通常比InfiniBand高。 CPU占用率：InfiniBand和RoCE的CPU占用率较低；iWARP的CPU占用率较高。 扩展性：RoCE和iWARP的扩展性比InfiniBand高；因为它们可以利用现有的以太网基础设施进行扩展；而InfiniBand需要专用的硬件和网络设备。 -END-