rocky 8 如何配置infiniband网络

建议安装Infiniband Support包。 dnf groupinstall -y "Infiniband"然后查看端口配型，需要安装mstflint工具dnf install mstflint检查ib的设备的pci地址[root@storage01 [root@storage01 ~]#重启完成后，我们可以用nmtui添加infiniband配置了可以修改成下述配置（注意：IPoIB 设备可在 Datagram 或 Connected 模式中配置。

网络虚拟化:高效通信协议-InfiniBand介绍

此类网络结构的示例包括互联网广域 RDMA 协议 (iWARP) [1]、融合以太网上的 RDMA (RoCE) [2] 和 InfiniBand [2]。 相反，RoCE是InfiniBand贸易协会（ITA）发布的基于以太网的RDMA解决方案，支持可靠和不可靠的传输。InfiniBand 是一种先进的网络协议，具有低延迟和高带宽，常用于商用服务器。 例如，iWARP 和 RoCE 旨在与传统以太网协议兼容，InfiniBand 通过 IP over InfiniBand (IPOIB) 支持传统套接字应用。 此外，图 6 表明，尽管两种操作具有相同的 InfiniBand 路径，但 WRITE 提供的吞吐量高于 READ。 图 10 和 11 说明了可靠和不可靠连接中 READ 与 SEND 和 WRITE 的比较。可以看出，在 RC 和 UC 连接中，具有内联有效负载的 WRITE 优于其他 RDMA 操作。

InfiniBand与MPI

IB（InfiniBand）和 RDMA（Remote Direct Memory Access）是一种高性能网络技术，通常用于加速数据传输。 如果您看到与`openib`相关的输出，那么程序可能正在使用InfiniBand。 对于Intel MPI，您可以使用`-genv`参数来检查或设置网络后端。 在这些命令中查找与InfiniBand相关的库和头文件。使用系统工具： 当您的MPI程序运行时，使用`lsof`或`netstat`等系统工具观察其网络连接。 nemesis是它的网络模块。 要确定nemesis是否使用了InfiniBand，需要深入查看该nemesis网络模块的配置和使用的具体网络子模块。 nemesis可以与多种网络子模块一起使用，包括但不限于TCP、IB（InfiniBand）、MXM等。 在您的输出中，并没有直接提及是否使用了InfiniBand。

Infiniband性能测试

Capability mask: 0x02594868 Port GUID: 0x0002c90300b382a1 Link layer: InfiniBand Capability mask: 0x0259486a Port GUID: 0x0002c90300b382a2 Link layer: InfiniBand

InfiniBand解决方案助力领先科技公司网络升级

国家：越南行业：信息技术网络类型：InfiniBand网络方案类型：HPC网络案例亮点通过真实使用场景的全面测试，确保出色兼容性和高可用性，显著降低部署风险和运营成本。 借助现场技术支持，快速解决网络问题，并获取针对其数据中心的定制维护建议。建立高带宽、低延迟的InfiniBand网络，提升系统稳定性和性能，促进数字化转型。 在计算网络方面，该公司部署了NVIDIA® QM9790 InfiniBand交换机，并采用800G OSFP InfiniBand光模块，以实现脊交换机、叶交换机与GPU服务器之间的高速连接。 飞速（FS）的NVIDIA® Quantum-2 InfiniBand技术促使其升级为高性能、超低延迟且具备高度可扩展性的网络，充分发挥了RDMA和加速网络内计算等先进技术的优势。 采用高性能的InfiniBand网络进一步推动了公司的数字化转型。*文章来源于飞速（FS）官网

大模型数据中心网络：InfiniBand与RoCE的终极对决！

那么，在这篇文章中，我们将对InfiniBand和RoCE进行深入的比较，以帮助您找到适合您的AI数据中心网络架构。 ​ 带宽和延迟 InfiniBand和RoCE都提供了极高的带宽和低延迟的网络连接，使数据能够在极短的时间内传输到目的地。然而，InfiniBand在带宽和延迟方面具有轻微的优势。 此外，InfiniBand的延迟通常比RoCE低1-2毫秒。 易用性和可扩展性 RoCE网络架构相对简单，易于部署和维护。它基于标准的以太网协议，因此不需要额外的硬件或软件支持。 InfiniBand也提供了卓越的容错性和可靠性。它使用星型拓扑结构，支持冗余路径和链路聚合，以提高网络的可用性和稳定性。然而，与RoCE相比，InfiniBand的硬件成本和复杂性可能会更高。 另一方面，InfiniBand需要额外的硬件和软件支持，增加了总体拥有成本。 综上所述，无论您选择InfiniBand还是RoCE作为您的AI数据中心网络架构，两者都能满足高性能AI系统的需求。

毅硕HPC | InfiniBand网络在HPC集群中的核心应用

在众多网络技术中，InfiniBand（IB）凭借其超低延迟、高带宽和硬件级卸载能力，已成为HPC领域的黄金标准。 管理网络：使用1台1GbE以太网交换机，用于操作系统安装、监控和带外管理。存储网络：使用1台10GbE以太网交换机，连接存储节点。此时存储流量不经过InfiniBand网络。2.   部署与配置要点：物理布局：为优化线缆长度，将InfiniBand交换机部署在机架中部位置。网络隔离：InfiniBand网络专门用于计算节点间的高速通信（IPC）和登录节点接入。 管理、存储流量通过独立的以太网网络，避免对计算网络造成干扰。配置流程：为所有服务器的InfiniBand主机通道适配器（HCA）安装驱动和OFED软件栈。 存储网络变更：存储节点直接接入InfiniBand网络，以提供更高的存储I/O性能，同时省去独立的10GbE存储网络交换机。管理网络：仍保留1GbE以太网用于带外管理。2.  

Linux 环境下 IB(InfiniBand) 组网认知

InfiniBand的设计目标是为数据中心和企业级网络提供更好的性能和可扩展性。 使用IPoIB技术，可以在InfiniBand网络上实现IP数据包的传输，从而利用InfiniBand的高速和低延迟特性。 InfiniBand子网管理器(SM)(InfiniBand 交换机)：InfiniBand子网管理器是一个特殊的InfiniBand适配器，用于管理整个InfiniBand网络。 为此，需要在 InfiniBand 网络中确认 InfiniBand 适配器已启用 IPoIB 功能。 可以使用这些信息来评估网络性能和诊断问题。 在 InfiniBand 网络中使用 iperf3 时，建议使用 RDMA 选项(--rdma)以最大限度地利用 InfiniBand 网络的性能和特性。

InfiniBand，到底是个啥？

尤其是今年以来，以ChatGPT为代表的AI大模型强势崛起，更是让InfiniBand的关注热度大涨。因为，GPT们所使用的网络，就是英伟达公司基于InfiniBand构建的。 如今，在高性能网络的竞争上，就是InfiniBand和高速以太网的缠斗。双方势均力敌。不差钱的厂商，更多会选择InfiniBand。而追求性价比的，则会更倾向高速以太网。 InfiniBand的网络架构 InfiniBand的网络拓扑结构示意，如下图所示： InfiniBand是一种基于通道的结构，组成单元主要分为四类： · HCA（Host Channel Adapter 在InfiniBand 网络中，数据同样以数据包（最大4KB）的形式传输，采用的是串行方式。 InfiniBand的协议栈 InfiniBand协议同样采用了分层结构。 可以看出，InfiniBand拥有自己定义的1-4层格式，是一个完整的网络协议。端到端流量控制，是InfiniBand网络数据包发送和接收的基础，可以实现无损网络。

（11）Linux网络命令

：ping 命令所在路径：/bin/ping 执行权限：所有用户 语法：ping 选项 IP地址 -c 指定发送次数 功能描述：测试网络连通性 例1:time越短，网络越好。同时在ping时我们重点关注packet loss，如果丢包率非常高，即使ping通了，说明网络状态也很差。 ? ? 4. 命令名称：netstat 命令所在路径：/bin/netstat 执行权限：所有用户 语法：netstat [选项] 功能描述：显示网络相关信息 选项： -t: 例2：netstat -an 查看本机所有网络链接 相对于-tlun，最大的区别在于，-tlun只能查看监听，-an可以查看正在连接的网络程序 ? 命令名称：setup 命令所在路径：/usr/bin/setup 执行权限：root 语法：setup 功能描述：配置网络 例1：输入setup后显示如下图 ?

35页PPT，了解InfiniBand和RoCE

Java EE(11)——初识网络

这便是本文所要讨论的内容 IP地址 IP地址用于表示网络设备（如路由器）的网络地址。换言之，IP用于定位主机的网络地址。 网络通信为了解决上述问题，就引出了“协议”。协议又叫做网络协议，是网络数据传输经过的所有设备都必须遵守的一组约定和规则，协议最终体现在网络上传输的数据包的格式。 协议分层 网络通信是一件十分复杂的事情，需要的场景越复杂，要求就越高。 这里以UDP协议为例，在应用层数据包前面添加UDP报头，然后提交给网络层 UDP报头主要包含源端口和目的端口 3.网络层 网络层基于IP协议在UDP数据报前面添加IP报头，然后提交给数据链路层 3.网络层 网络层解析出IP报头，将IP数据报的载荷部分提交给传输层 4.传输层 传输层解析出UDP报头，将UDP载荷部分提交给应用层 5.应用层 应用层将数据包进行解析

Infiniband以太网，算力组网布线方案

服务器→叶交换机→脊交换机布线(图2示)，是构建高带宽、低延迟、可扩展数据中心网络的核心设计思路，使用叶脊(Spine-Leaf)网络架构将设备进行连接，其中服务器与叶交换机同处于一个SU内，连接距离较短

TensorFlow-11-策略网络

AlphaGo 主要使用了快速走子，策略网络，估值网络，和蒙特卡洛搜索树等技术。 深度强化学习模型本质上也是神经网络，主要分为策略网络和估值网络。 ---- 今天要先来实现一下策略网络，就是要建立一个神经网络模型，可以通过观察环境状态预测出目前最应该执行的策略以及可以获得的最大的期望收益。 每个环境信息包含四个值，例如小车的位置速度等，我们不需要编写逻辑来控制小车，而是设计一个策略网络，让它自己从这些数值中学习到环境信息，并制定最佳策略。 我们的策略网络是要使用一个简单的带有一个隐含层的 MLP，隐含层节点数为10，环境信息的维度为4。 ? 用 reshape 得到策略网络输入的格式，然后获得网络输出的概率 tfprob，然后在 0-1 之间随机抽样得到 action，如果它小于这个概率就利用行动取值为1，否则为0。 ?

Gartner：以太网的进步将终结 InfiniBand 在 AI 网络领域的领先地位

Gartner 终于下场了 最新推出的新兴技术报告 由分析师Anushree Verma撰写 为生成式 AI 网络提供前瞻性的见解 核心观点 对于那些考虑 InfiniBand 的人，Verma写道， 有必要“通过评估基于 InfiniBand 的交换机与基于超以太网的交换机，重新评估网络选择的性能、可靠性、可扩展性和价格。” InfiniBand 鉴于GPU由单一供应商主导，InfiniBand 是生成式 AI 应用中以太网的可行替代方案；然而，InfiniBand网络的价格较高，并且没有开放的生态系统 InfiniBand 但是预计 30% 的生成式 AI 流量将在InfiniBand上运行，目前这一比例还不到 20% Gartner 认为它“具有可扩展性限制，并且需要特殊技能来管理”，这意味着一些网络设计人员会因为难以管理的复杂性避免使用 然而，鉴于此类网络的开放生态系统和可靠性，使用无损以太网或超以太网的融合以太网 (RoCE) 上的远程直接内存访问 (RDMA) 可能被证明是有效的替代方案 到 2028 年，45% 的生成式 AI 流量将在以太网上运行

InfiniBand和以太网有什么区别？

InfiniBand原生地支持SDN、Overlay和虚拟化等网络技术，是一种开放标准的高带宽、低时延、高可靠的网络互连。 InfiniBand和以太网的区别在于： 以太网使用以网络设备为中心的方法建立路由，主要面向低速网络； InfiniBand在设计之初就致力于解决传统网络的缺陷，用软件定义的方法建立大规模且流量纯净的二层网络 答：InfiniBand和以太网都是网络技术，但有一些主要区别。以太网是一种广泛使用的网络标准，存在已久，而InfiniBand是一种高速网络技术，专门用于提供低延迟和高带宽通信。 答：可以，InfiniBand 和以太网可以在同一网络中共存。许多现代数据中心同时使用这两种技术来优化性能和满足不同的网络需求。 问：以太网有不同类型吗？ 以太网是一种广泛使用的成熟网络技术，支持各种仪器和应用。 问：InfiniBand如何提高网络可靠性？ 答：InfiniBand提供高带宽和低延迟，有助于提高网络可靠性。

笔记 Lab11: Networking | 网络

Lab 11: Networking (hard) 熟悉系统驱动与外围设备的交互、内存映射寄存器与 DMA 数据传输，实现与 E1000 网卡交互的核心方法：transmit 与 recv。 return; } rx_mbufs[ind]->len = desc->length; net_rx(rx_mbufs[ind]); // 传递给上层网络栈

替代Infiniband交换机，星融元带来新一代HPC网络解决方案，优势明显

如图： 图片 今天，这里我们主要讨论其网络层面。HPC 对网络的主要诉求是低时延、零丢包、高带宽。 以往，在这种高性能承载网络的选择上，人们通常会选用IB网络或RoCEv2网络，但InfiniBand（IB）解决方案其实暴露出了很多问题： 厂商垄断：目前只有一家厂商有成熟的IB产品&方案，厂商锁定，方案价格非常昂贵 兼容性低：InfiniBand采用单独的通讯协议，非TCP/IP协议族，无法做到与其他网络设备互通互访 售后服务响应不理想：IB专网运维依赖原厂，故障定位困难，且解决问题时间较长 供货周期长：受各种因素影响 星融元HPC网络解决方案 星融元的HPC网络解决方案依托的是自研的CX-N系列低时延交换机，Port to Port 转发时延低至400ns。 再看一组CX-N100G交换机和IB交换机进行相同应用并行计算，运行效率基本一致： 图片 所以说，星融元的HPC网络解决方案完全可以替换IB交换机，且对比传统的IB解决方案，星融元的HPC网络解决网络解决方案具有以下优势

【实践】11.DOCKER之使用网络

摘要 本文介绍docker使用网络的相关配置。 2. 内容 2.1 外部访问容器 容器中可以运行一些网络应用，要让外部也可以访问这些应用，可以通过 -P 或 -p 参数来指定端口映射。 随着 Docker 网络的完善，强烈建议大家将容器加入自定义的 Docker 网络来连接多个容器，而不是使用 --link 参数。 新建网络 下面先创建一个新的 Docker 网络。 其中 overlay 网络类型用于 Swarm mode，在本小节中你可以忽略它。 CREATED STATUS PORTS NAMES b47060aca56b busybox "sh" 11 minutes ago Up 11 minutes busybox2 8720575823ec busybox "sh"

机器学习系列11：神经网络

什么是神经网络（Neural Networks）呢？最开始科学家想用算法去模拟大脑达到人工智能。通过一系列的实验发现，大脑是通过神经元进行工作的，神经元之间通过电信号传递信息。 于是他们就开始模拟神经元的工作过程，用算法去模拟神经元，这就形成了神经网络。神经网络可以用来学习复杂的非线性假设模型。 在逻辑回归中，求最佳的参数可以用最小化代价函数来求，那么神经网络中也有参数，这些参数我们可以用同样的办法进行求解。 类似地，神经网络的代价函数如下： ? 其中： L = 神经网络的层数； S_l= l 层有多少个单元； K = 输出单元的数目。 乍一眼看上去挺复杂，其实类比逻辑回归的代价函数来看，思想都是一样的。