rocky 8 如何配置infiniband网络

建议安装Infiniband Support包。 dnf groupinstall -y "Infiniband"然后查看端口配型，需要安装mstflint工具dnf install mstflint检查ib的设备的pci地址[root@storage01 [root@storage01 ~]#重启完成后，我们可以用nmtui添加infiniband配置了可以修改成下述配置（注意：IPoIB 设备可在 Datagram 或 Connected 模式中配置。

网络虚拟化:高效通信协议-InfiniBand介绍

此类网络结构的示例包括互联网广域 RDMA 协议 (iWARP) [1]、融合以太网上的 RDMA (RoCE) [2] 和 InfiniBand [2]。 2.背景 尽管 iWARP、RoCE 和 InfiniBand 协议提供了一组独特的操作，但是采用适当的协议需要了解每种协议的优点和缺点。 相反，RoCE是InfiniBand贸易协会（ITA）发布的基于以太网的RDMA解决方案，支持可靠和不可靠的传输。InfiniBand 是一种先进的网络协议，具有低延迟和高带宽，常用于商用服务器。 例如，iWARP 和 RoCE 旨在与传统以太网协议兼容，InfiniBand 通过 IP over InfiniBand (IPOIB) 支持传统套接字应用。 此外，图 6 表明，尽管两种操作具有相同的 InfiniBand 路径，但 WRITE 提供的吞吐量高于 READ。

InfiniBand与MPI

IB（InfiniBand）和 RDMA（Remote Direct Memory Access）是一种高性能网络技术，通常用于加速数据传输。 如果您看到与`openib`相关的输出，那么程序可能正在使用InfiniBand。 对于Intel MPI，您可以使用`-genv`参数来检查或设置网络后端。 在这些命令中查找与InfiniBand相关的库和头文件。使用系统工具： 当您的MPI程序运行时，使用`lsof`或`netstat`等系统工具观察其网络连接。 nemesis是它的网络模块。 要确定nemesis是否使用了InfiniBand，需要深入查看该nemesis网络模块的配置和使用的具体网络子模块。 nemesis可以与多种网络子模块一起使用，包括但不限于TCP、IB（InfiniBand）、MXM等。 在您的输出中，并没有直接提及是否使用了InfiniBand。

Infiniband性能测试

Capability mask: 0x02594868 Port GUID: 0x0002c90300b382a1 Link layer: InfiniBand Capability mask: 0x0259486a Port GUID: 0x0002c90300b382a2 Link layer: InfiniBand

InfiniBand解决方案助力领先科技公司网络升级

国家：越南行业：信息技术网络类型：InfiniBand网络方案类型：HPC网络案例亮点通过真实使用场景的全面测试，确保出色兼容性和高可用性，显著降低部署风险和运营成本。 借助现场技术支持，快速解决网络问题，并获取针对其数据中心的定制维护建议。建立高带宽、低延迟的InfiniBand网络，提升系统稳定性和性能，促进数字化转型。 在计算网络方面，该公司部署了NVIDIA® QM9790 InfiniBand交换机，并采用800G OSFP InfiniBand光模块，以实现脊交换机、叶交换机与GPU服务器之间的高速连接。 飞速（FS）的NVIDIA® Quantum-2 InfiniBand技术促使其升级为高性能、超低延迟且具备高度可扩展性的网络，充分发挥了RDMA和加速网络内计算等先进技术的优势。 采用高性能的InfiniBand网络进一步推动了公司的数字化转型。*文章来源于飞速（FS）官网

大模型数据中心网络：InfiniBand与RoCE的终极对决！

那么，在这篇文章中，我们将对InfiniBand和RoCE进行深入的比较，以帮助您找到适合您的AI数据中心网络架构。 ​ 带宽和延迟 InfiniBand和RoCE都提供了极高的带宽和低延迟的网络连接，使数据能够在极短的时间内传输到目的地。然而，InfiniBand在带宽和延迟方面具有轻微的优势。 此外，InfiniBand的延迟通常比RoCE低1-2毫秒。 易用性和可扩展性 RoCE网络架构相对简单，易于部署和维护。它基于标准的以太网协议，因此不需要额外的硬件或软件支持。 InfiniBand也提供了卓越的容错性和可靠性。它使用星型拓扑结构，支持冗余路径和链路聚合，以提高网络的可用性和稳定性。然而，与RoCE相比，InfiniBand的硬件成本和复杂性可能会更高。 另一方面，InfiniBand需要额外的硬件和软件支持，增加了总体拥有成本。 综上所述，无论您选择InfiniBand还是RoCE作为您的AI数据中心网络架构，两者都能满足高性能AI系统的需求。

毅硕HPC | InfiniBand网络在HPC集群中的核心应用

在众多网络技术中，InfiniBand（IB）凭借其超低延迟、高带宽和硬件级卸载能力，已成为HPC领域的黄金标准。 管理网络：使用1台1GbE以太网交换机，用于操作系统安装、监控和带外管理。存储网络：使用1台10GbE以太网交换机，连接存储节点。此时存储流量不经过InfiniBand网络。2.   部署与配置要点：物理布局：为优化线缆长度，将InfiniBand交换机部署在机架中部位置。网络隔离：InfiniBand网络专门用于计算节点间的高速通信（IPC）和登录节点接入。 管理、存储流量通过独立的以太网网络，避免对计算网络造成干扰。配置流程：为所有服务器的InfiniBand主机通道适配器（HCA）安装驱动和OFED软件栈。 存储网络变更：存储节点直接接入InfiniBand网络，以提供更高的存储I/O性能，同时省去独立的10GbE存储网络交换机。管理网络：仍保留1GbE以太网用于带外管理。2.  

Linux 环境下 IB(InfiniBand) 组网认知

InfiniBand的设计目标是为数据中心和企业级网络提供更好的性能和可扩展性。 使用IPoIB技术，可以在InfiniBand网络上实现IP数据包的传输，从而利用InfiniBand的高速和低延迟特性。 InfiniBand子网管理器(SM)(InfiniBand 交换机)：InfiniBand子网管理器是一个特殊的InfiniBand适配器，用于管理整个InfiniBand网络。 为此，需要在 InfiniBand 网络中确认 InfiniBand 适配器已启用 IPoIB 功能。 可以使用这些信息来评估网络性能和诊断问题。 在 InfiniBand 网络中使用 iperf3 时，建议使用 RDMA 选项(--rdma)以最大限度地利用 InfiniBand 网络的性能和特性。

InfiniBand，到底是个啥？

尤其是今年以来，以ChatGPT为代表的AI大模型强势崛起，更是让InfiniBand的关注热度大涨。因为，GPT们所使用的网络，就是英伟达公司基于InfiniBand构建的。 如今，在高性能网络的竞争上，就是InfiniBand和高速以太网的缠斗。双方势均力敌。不差钱的厂商，更多会选择InfiniBand。而追求性价比的，则会更倾向高速以太网。 InfiniBand的网络架构 InfiniBand的网络拓扑结构示意，如下图所示： InfiniBand是一种基于通道的结构，组成单元主要分为四类： · HCA（Host Channel Adapter 在InfiniBand 网络中，数据同样以数据包（最大4KB）的形式传输，采用的是串行方式。 InfiniBand的协议栈 InfiniBand协议同样采用了分层结构。 可以看出，InfiniBand拥有自己定义的1-4层格式，是一个完整的网络协议。端到端流量控制，是InfiniBand网络数据包发送和接收的基础，可以实现无损网络。

35页PPT，了解InfiniBand和RoCE

Infiniband以太网，算力组网布线方案

服务器→叶交换机→脊交换机布线(图2示)，是构建高带宽、低延迟、可扩展数据中心网络的核心设计思路，使用叶脊(Spine-Leaf)网络架构将设备进行连接，其中服务器与叶交换机同处于一个SU内，连接距离较短

Gartner：以太网的进步将终结 InfiniBand 在 AI 网络领域的领先地位

Gartner 终于下场了 最新推出的新兴技术报告 由分析师Anushree Verma撰写 为生成式 AI 网络提供前瞻性的见解 核心观点 对于那些考虑 InfiniBand 的人，Verma写道， 有必要“通过评估基于 InfiniBand 的交换机与基于超以太网的交换机，重新评估网络选择的性能、可靠性、可扩展性和价格。” InfiniBand 鉴于GPU由单一供应商主导，InfiniBand 是生成式 AI 应用中以太网的可行替代方案；然而，InfiniBand网络的价格较高，并且没有开放的生态系统 InfiniBand 但是预计 30% 的生成式 AI 流量将在InfiniBand上运行，目前这一比例还不到 20% Gartner 认为它“具有可扩展性限制，并且需要特殊技能来管理”，这意味着一些网络设计人员会因为难以管理的复杂性避免使用 然而，鉴于此类网络的开放生态系统和可靠性，使用无损以太网或超以太网的融合以太网 (RoCE) 上的远程直接内存访问 (RDMA) 可能被证明是有效的替代方案 到 2028 年，45% 的生成式 AI 流量将在以太网上运行

InfiniBand和以太网有什么区别？

InfiniBand原生地支持SDN、Overlay和虚拟化等网络技术，是一种开放标准的高带宽、低时延、高可靠的网络互连。 InfiniBand和以太网的区别在于： 以太网使用以网络设备为中心的方法建立路由，主要面向低速网络； InfiniBand在设计之初就致力于解决传统网络的缺陷，用软件定义的方法建立大规模且流量纯净的二层网络 答：InfiniBand和以太网都是网络技术，但有一些主要区别。以太网是一种广泛使用的网络标准，存在已久，而InfiniBand是一种高速网络技术，专门用于提供低延迟和高带宽通信。 答：可以，InfiniBand 和以太网可以在同一网络中共存。许多现代数据中心同时使用这两种技术来优化性能和满足不同的网络需求。 问：以太网有不同类型吗？ 以太网是一种广泛使用的成熟网络技术，支持各种仪器和应用。 问：InfiniBand如何提高网络可靠性？ 答：InfiniBand提供高带宽和低延迟，有助于提高网络可靠性。

替代Infiniband交换机，星融元带来新一代HPC网络解决方案，优势明显

如图： 图片 今天，这里我们主要讨论其网络层面。HPC 对网络的主要诉求是低时延、零丢包、高带宽。 以往，在这种高性能承载网络的选择上，人们通常会选用IB网络或RoCEv2网络，但InfiniBand（IB）解决方案其实暴露出了很多问题： 厂商垄断：目前只有一家厂商有成熟的IB产品&方案，厂商锁定，方案价格非常昂贵 兼容性低：InfiniBand采用单独的通讯协议，非TCP/IP协议族，无法做到与其他网络设备互通互访 售后服务响应不理想：IB专网运维依赖原厂，故障定位困难，且解决问题时间较长 供货周期长：受各种因素影响 星融元HPC网络解决方案 星融元的HPC网络解决方案依托的是自研的CX-N系列低时延交换机，Port to Port 转发时延低至400ns。 再看一组CX-N100G交换机和IB交换机进行相同应用并行计算，运行效率基本一致： 图片 所以说，星融元的HPC网络解决方案完全可以替换IB交换机，且对比传统的IB解决方案，星融元的HPC网络解决网络解决方案具有以下优势

挑战 InfiniBand，超以太网联盟不是第一个！

国防科大统计了 2021 年 TOP10 HPC 榜单 上榜产品大部分都采用了 IB 互联 胖树，ChatGPT训练网络的“非著名”架构 哪里有大店 哪里就有星星之火 2019 年惠普花费 13 全面分析了数据中心当前主流的互联技术和能力 相关阅读： P4教程 P4应用 P4可编程SDN交换机 基于国产FPGA的智能网卡 Tofino1 | Tifino 2 |Tofino 3 共谋信创 国产平台汇聚分流器 基于可编程交换机的网络仿真平台

RDMA Infiniband - IB通信管理-子网管理(SM)和子网代理(SMA)

术语 IBA架构层次: 和典型的TCP/IP七层模型不同, IBA从上到下分为5层: verbs接口层/传输层/网络层/链路层/物理层 , 内部网络分网络/链路/物理共3层, 简化层级也带来了通信的高效率 主 SM 作为子网初始化过程的一部分被选举出来，并负责以下功能 发现该SM管理子网内的网络拓扑 为子网内所有IB通信端口分配一个公共的子网ID(子网前缀) 为子网内所有IB通信端口分配一个唯一的通信地址 https://chattoyou.cn DPU专栏 https://cloud.tencent.com/developer/column/101987 技术会友: 欢迎对DPU/智能网卡/卸载/网络

算力革命：RoCE实测推理时延比InfiniBand低30%的底层逻辑

随着国产开源大模型DeepSeek在语言生成、多模态交互及代码能力等领域的快速崛起，其规模化部署对底层网络架构提出了更高要求。 在千亿级参数模型的分布式推理场景中，多节点GPU集群的通信效率直接影响任务吞吐量和时延表现，传统网络协议已难以满足高并发、低延迟的算力需求。 CX864E-N 具有更快的处理速度、更低的网络延迟和远优于 InfiniBand 的性价比，使 AI 服务提供商能够加速大规模大型模型部署，同时大幅降低成本。 DeepSeek 推理场景网络性能测试（条形图）了解关键性能指标分析第 90 个百分位令牌间延迟（P90ITL）用于测量推理过程中生成的令牌之间的时间间隔。 改变游戏规则的成本优势：它的价格仅为传统 InfiniBand 解决方案的三分之一，可在不影响性能的情况下大幅削减基础设施成本。

苹果Airplay2学习

高性能计算｜网络系统与存储系统 高性能计算集群中一般采用专用高速网络，如 InfiniBand 网络，也有采用以太网（千兆网、万兆网）的系统。 InfiniBand 网络 InfiniBand（简称 IB）是一个统一的互联结构，既可以处理存储 I/O、网络 I/O，也能够处理进程间通信 （IPC）。 IB 通信协议 InfiniBand 与 RDMA InfiniBand 发展的初衷是把服务器中的总线给网络化。所以 InfiniBand 除了具有很强的网络性能以外还直接继承了总线的高带宽和低时延。 InfiniBand 与其他协议的关系 作为总线的网络化，InfiniBand 有责任将其他进入服务器的协议在 InfiniBand 的层面上整合并送入服务器。 要充分发挥 HPC 系统的性能与效率，InfiniBand 网络是不可替代的核心技术。

RDMA技术系列一：rdma技术简介

与普通网络通信方式相比，RDMA有很多优点，比如延迟更低、带宽更高、CPU使用率更低等，这意味着通信更快、更高效。 目前，RDMA主要有三种实现方式： InfiniBand：一种专门的高性能网络通信标准。它很早就在2000年发布了1.0版本，一开始就支持RDMA。 iWARP：全称RDMA over TCP，允许通过TCP执行RDMA的网络协议。这可以在标准以太网基础上使用RDMA，但需要特殊的网卡。 ​ 它们都可以用于高性能计算、存储、数据中心等领域。 延迟：InfiniBand的延迟最低；RoCE和iWARP的延迟较低，但通常比InfiniBand高。 CPU占用率：InfiniBand和RoCE的CPU占用率较低；iWARP的CPU占用率较高。 扩展性：RoCE和iWARP的扩展性比InfiniBand高；因为它们可以利用现有的以太网基础设施进行扩展；而InfiniBand需要专用的硬件和网络设备。 -END-

高性能网络的基础知识

在数据中心基础设施的传统支柱（即计算、存储和网络）中，网络具有独特性，因为它本身并无固有价值。虽然独立的服务器仍然可以进行计算，存储设备也可以保存数据，但网络的价值仅取决于其所传输的信息。 标准数据中心网络的“尽力而为”服务等级协议（SLA）是不够的。这就是高性能网络中“高性能”部分的体现。 那么，什么是高性能网络呢？ 定义高性能网络的问题并非仅仅是延迟或带宽的问题，尽管这两者都是因素。 目前，有两种主要的行业标准方法用于RDMA传输： InfiniBand InfiniBand是一种支持RDMA的通信标准。InfiniBand ASIC的延迟和带宽大致相当于以太网性能。 InfiniBand与RoCE的考量 以下是一个快速对比： 灵活性 InfiniBand网络是为特定工作负载（如人工智能）量身定制的，只能支持一种类型的工作负载。 虽然InfiniBand的规范允许构建非常大的网络结构，但在面对大型故障域时可能会出现一些复杂情况。InfiniBand没有Layer 3选项。 何时使用每种技术？