rocky 8 如何配置infiniband网络

建议安装Infiniband Support包。 dnf groupinstall -y "Infiniband"然后查看端口配型，需要安装mstflint工具dnf install mstflint检查ib的设备的pci地址[root@storage01 [root@storage01 ~]#重启完成后，我们可以用nmtui添加infiniband配置了可以修改成下述配置（注意：IPoIB 设备可在 Datagram 或 Connected 模式中配置。 两者的区别可以参考这里第 6 章 配置 IPoIB Red Hat Enterprise Linux 8 | Red Hat Customer Portal）

网络虚拟化:高效通信协议-InfiniBand介绍

此类网络结构的示例包括互联网广域 RDMA 协议 (iWARP) [1]、融合以太网上的 RDMA (RoCE) [2] 和 InfiniBand [2]。 第 6 节评估了现实世界的分布式应用程序。最后，第 7 节得出结论。 相反，RoCE是InfiniBand贸易协会（ITA）发布的基于以太网的RDMA解决方案，支持可靠和不可靠的传输。InfiniBand 是一种先进的网络协议，具有低延迟和高带宽，常用于商用服务器。 此外，图 6 表明，尽管两种操作具有相同的 InfiniBand 路径，但 WRITE 提供的吞吐量高于 READ。 此外，READ-READ 会产生巨大的网络流量来轮询远程主机。 6. 内存中键值存储 内存中键值存储对于加速以内存为中心和以磁盘为中心的分布式系统至关重要[21]。

InfiniBand与MPI

IB（InfiniBand）和 RDMA（Remote Direct Memory Access）是一种高性能网络技术，通常用于加速数据传输。 如果您看到与`openib`相关的输出，那么程序可能正在使用InfiniBand。 对于Intel MPI，您可以使用`-genv`参数来检查或设置网络后端。 nemesis是它的网络模块。 要确定nemesis是否使用了InfiniBand，需要深入查看该nemesis网络模块的配置和使用的具体网络子模块。 nemesis可以与多种网络子模块一起使用，包括但不限于TCP、IB（InfiniBand）、MXM等。 在您的输出中，并没有直接提及是否使用了InfiniBand。 : rdma-netlink-subsys-5retpoline: Yrhelversion: 7.6srcversion: 5D44B5BCCB49385B6F5C4C8depends

Infiniband性能测试

-- ---------------- mlx4_0 0002c90300b382a0 irdma0 ae1f6bfffeec331c irdma1 ae1f6bfffeec331d[root@storage02 ~]# ibstat mlx4_0CA 'mlx4_0' CA type: Capability mask: 0x02594868 Port GUID: 0x0002c90300b382a1 Link layer: InfiniBand Capability mask: 0x0259486a Port GUID: 0x0002c90300b382a2 Link layer: InfiniBand irdma1 ae1f6bfffeec32f3[root@storage03 ~]# ibstat mlx4_0CA 'mlx4_0' CA type:

InfiniBand解决方案助力领先科技公司网络升级

国家：越南行业：信息技术网络类型：InfiniBand网络方案类型：HPC网络案例亮点通过真实使用场景的全面测试，确保出色兼容性和高可用性，显著降低部署风险和运营成本。 借助现场技术支持，快速解决网络问题，并获取针对其数据中心的定制维护建议。建立高带宽、低延迟的InfiniBand网络，提升系统稳定性和性能，促进数字化转型。 在计算网络方面，该公司部署了NVIDIA® QM9790 InfiniBand交换机，并采用800G OSFP InfiniBand光模块，以实现脊交换机、叶交换机与GPU服务器之间的高速连接。 飞速（FS）的NVIDIA® Quantum-2 InfiniBand技术促使其升级为高性能、超低延迟且具备高度可扩展性的网络，充分发挥了RDMA和加速网络内计算等先进技术的优势。 采用高性能的InfiniBand网络进一步推动了公司的数字化转型。*文章来源于飞速（FS）官网

大模型数据中心网络：InfiniBand与RoCE的终极对决！

那么，在这篇文章中，我们将对InfiniBand和RoCE进行深入的比较，以帮助您找到适合您的AI数据中心网络架构。 ​ 带宽和延迟 InfiniBand和RoCE都提供了极高的带宽和低延迟的网络连接，使数据能够在极短的时间内传输到目的地。然而，InfiniBand在带宽和延迟方面具有轻微的优势。 此外，InfiniBand的延迟通常比RoCE低1-2毫秒。 易用性和可扩展性 RoCE网络架构相对简单，易于部署和维护。它基于标准的以太网协议，因此不需要额外的硬件或软件支持。 InfiniBand也提供了卓越的容错性和可靠性。它使用星型拓扑结构，支持冗余路径和链路聚合，以提高网络的可用性和稳定性。然而，与RoCE相比，InfiniBand的硬件成本和复杂性可能会更高。 另一方面，InfiniBand需要额外的硬件和软件支持，增加了总体拥有成本。 综上所述，无论您选择InfiniBand还是RoCE作为您的AI数据中心网络架构，两者都能满足高性能AI系统的需求。

毅硕HPC | InfiniBand网络在HPC集群中的核心应用

在众多网络技术中，InfiniBand（IB）凭借其超低延迟、高带宽和硬件级卸载能力，已成为HPC领域的黄金标准。 架构与硬件组件：计算网络：使用1台40端口（1U规格）的InfiniBand交换机作为核心，构建一个简单的星型拓扑。节点：包括6台计算节点、1台登录节点、1台存储节点和2台管理节点（用于高可用）。 管理网络：使用1台1GbE以太网交换机，用于操作系统安装、监控和带外管理。存储网络：使用1台10GbE以太网交换机，连接存储节点。此时存储流量不经过InfiniBand网络。2.   部署与配置要点：物理布局：为优化线缆长度，将InfiniBand交换机部署在机架中部位置。网络隔离：InfiniBand网络专门用于计算节点间的高速通信（IPC）和登录节点接入。 存储网络变更：存储节点直接接入InfiniBand网络，以提供更高的存储I/O性能，同时省去独立的10GbE存储网络交换机。管理网络：仍保留1GbE以太网用于带外管理。2.  

Linux 环境下 IB(InfiniBand) 组网认知

InfiniBand的设计目标是为数据中心和企业级网络提供更好的性能和可扩展性。 使用IPoIB技术，可以在InfiniBand网络上实现IP数据包的传输，从而利用InfiniBand的高速和低延迟特性。 InfiniBand子网管理器(SM)(InfiniBand 交换机)：InfiniBand子网管理器是一个特殊的InfiniBand适配器，用于管理整个InfiniBand网络。 为此，需要在 InfiniBand 网络中确认 InfiniBand 适配器已启用 IPoIB 功能。 可以使用这些信息来评估网络性能和诊断问题。 在 InfiniBand 网络中使用 iperf3 时，建议使用 RDMA 选项(--rdma)以最大限度地利用 InfiniBand 网络的性能和特性。

InfiniBand，到底是个啥？

尤其是今年以来，以ChatGPT为代表的AI大模型强势崛起，更是让InfiniBand的关注热度大涨。因为，GPT们所使用的网络，就是英伟达公司基于InfiniBand构建的。 InfiniBand的网络架构 InfiniBand的网络拓扑结构示意，如下图所示： InfiniBand是一种基于通道的结构，组成单元主要分为四类： · HCA（Host Channel Adapter 使用InfiniBand的系统可以由多个子网（Subnet）组成，每个子网最大可由6万多个节点组成。子网内部，InfiniBand交换机进行二层处理。子网之间，使用路由器或网桥进行连接。 在InfiniBand 网络中，数据同样以数据包（最大4KB）的形式传输，采用的是串行方式。 InfiniBand的协议栈 InfiniBand协议同样采用了分层结构。 可以看出，InfiniBand拥有自己定义的1-4层格式，是一个完整的网络协议。端到端流量控制，是InfiniBand网络数据包发送和接收的基础，可以实现无损网络。

35页PPT，了解InfiniBand和RoCE

Infiniband以太网，算力组网布线方案

服务器→叶交换机→脊交换机布线(图2示)，是构建高带宽、低延迟、可扩展数据中心网络的核心设计思路，使用叶脊(Spine-Leaf)网络架构将设备进行连接，其中服务器与叶交换机同处于一个SU内，连接距离较短 三、叶交换机到脊交换机(点对点/结构化布线)跨单元集群组网(图5示)，我们除了可以使用跳线进行点对点布线外，也可以使用配线架和模块盒进行结构化布线(图6示)，将脊节点/叶节点的所有端口映射到适配器模块上

6.网络编程

，如果网速很慢，代码会阻塞，所以网络交互的代码不能运行在主线程 ANR application not responding 应用无响应异常 主线程阻塞时间过长，就会抛出ANR 只有主线程能刷新 ，而访问网络是需要声明权限的 对于HTTP协议工作原理:就是客户端向服务器发出一条HTTP请求，服务器收到请求之后会返回一些数据给客户端，然后客户端再对这些数据进行解析和处理就可以了。 在Android上发送HTTP请求的方式一般有两种，HttpURLConnection和HttpClient 查看网络图片 publicclassMainActivityextendsActivity{ 因为一个应用程序很可能会在许多地方都使用到网络功能， 而发送 HTTP请求的代码基本都是相同的，如果每次都去编写一遍发送 HTTP请求的代码，这显然是非常差劲的做法。 通常情况下我们都应该将这些通用的网络操作提取到一个公共的类里，并提供一个静态方法，当想要发起网络请求的时候只需简单地调用一下这个方法即可。

Gartner：以太网的进步将终结 InfiniBand 在 AI 网络领域的领先地位

Gartner 终于下场了 最新推出的新兴技术报告 由分析师Anushree Verma撰写 为生成式 AI 网络提供前瞻性的见解 核心观点 对于那些考虑 InfiniBand 的人，Verma写道， 有必要“通过评估基于 InfiniBand 的交换机与基于超以太网的交换机，重新评估网络选择的性能、可靠性、可扩展性和价格。” InfiniBand 鉴于GPU由单一供应商主导，InfiniBand 是生成式 AI 应用中以太网的可行替代方案；然而，InfiniBand网络的价格较高，并且没有开放的生态系统 InfiniBand 但是预计 30% 的生成式 AI 流量将在InfiniBand上运行，目前这一比例还不到 20% Gartner 认为它“具有可扩展性限制，并且需要特殊技能来管理”，这意味着一些网络设计人员会因为难以管理的复杂性避免使用 然而，鉴于此类网络的开放生态系统和可靠性，使用无损以太网或超以太网的融合以太网 (RoCE) 上的远程直接内存访问 (RDMA) 可能被证明是有效的替代方案 到 2028 年，45% 的生成式 AI 流量将在以太网上运行

InfiniBand和以太网有什么区别？

InfiniBand原生地支持SDN、Overlay和虚拟化等网络技术，是一种开放标准的高带宽、低时延、高可靠的网络互连。 InfiniBand和以太网的区别在于： 以太网使用以网络设备为中心的方法建立路由，主要面向低速网络； InfiniBand在设计之初就致力于解决传统网络的缺陷，用软件定义的方法建立大规模且流量纯净的二层网络 答：InfiniBand和以太网都是网络技术，但有一些主要区别。以太网是一种广泛使用的网络标准，存在已久，而InfiniBand是一种高速网络技术，专门用于提供低延迟和高带宽通信。 答：可以，InfiniBand 和以太网可以在同一网络中共存。许多现代数据中心同时使用这两种技术来优化性能和满足不同的网络需求。 问：以太网有不同类型吗？ 以太网是一种广泛使用的成熟网络技术，支持各种仪器和应用。 问：InfiniBand如何提高网络可靠性？ 答：InfiniBand提供高带宽和低延迟，有助于提高网络可靠性。

替代Infiniband交换机，星融元带来新一代HPC网络解决方案，优势明显

如图： 图片 今天，这里我们主要讨论其网络层面。HPC 对网络的主要诉求是低时延、零丢包、高带宽。 以往，在这种高性能承载网络的选择上，人们通常会选用IB网络或RoCEv2网络，但InfiniBand（IB）解决方案其实暴露出了很多问题： 厂商垄断：目前只有一家厂商有成熟的IB产品&方案，厂商锁定，方案价格非常昂贵 兼容性低：InfiniBand采用单独的通讯协议，非TCP/IP协议族，无法做到与其他网络设备互通互访 售后服务响应不理想：IB专网运维依赖原厂，故障定位困难，且解决问题时间较长 供货周期长：受各种因素影响 系列低时延交换机HPC组网方案设计： 图片 组网方案 CX564P-N（1:1收敛） CX564P-N（3:1收敛） 64节点 1台 1台 128节点 6台 4台 256节点 12台 8台 再看一组CX-N100G交换机和IB交换机进行相同应用并行计算，运行效率基本一致： 图片 所以说，星融元的HPC网络解决方案完全可以替换IB交换机，且对比传统的IB解决方案，星融元的HPC网络解决网络解决方案具有以下优势

.NET 6 Preview 6 正式发布： 关注网络开发

微软.NET 团队的项目经理在博客上发布了.NET 6 Preview 6, 在候选发布阶段之前的倒数第二个预览版，也就是8月份还会发布一个Preview 7，9月份开始进入RC，两个候选版本将专注于质量修复 Preview 6 版本本身相对较小，而 Preview 7 功能方面会更多，Preview 6主要集中在网络开发方面，同时Visual Studio 2022 为WPF 应用程序的开发提供了实时预览。 ASP.NET Core updates in .NET 6 Preview 6 改进的特性列表中包括 WebSocket 压缩、 预览 4 中引入的Mini HTTP API 的OpenAPI 支持以及 .NET 6 Preview 6发布的同时，Visual Studio 2022 也发布了的新预览版。亮点是 WPF 应用程序的新实时预览。 上篇文章 .NET 6 亮点之工作负载，它是统一 .NET 的基础，我们介绍了工作负载，在 Preview 6 进一步完善了工作负载命令，旨在帮助开发人员更轻松地发现和管理可选工作负载。

【译】.NET 6 网络改进

原文 | Máňa Píchová 翻译 | 郑子铭 对于 .NET 的每个新版本，我们都希望发布一篇博客文章，重点介绍网络的一些变化和改进。在这篇文章中，我很高兴谈论 .NET 6 中的变化。 这篇文章的上一个版本是 .NET 5 网络改进。 最值得注意的是 SOCKS 代理用于访问 Tor 网络。 安全 在 .NET 6 中，我们在网络安全领域做了两个值得一提的小改动。 延迟的客户端协商 这是一个服务器端的 SslStream 函数。当服务器决定需要为已建立的连接重新协商加密时使用它。 最后说明 这并不是 .NET 6 中发生的所有网络更改的详尽列表。我们尝试选择最有趣或影响最大的更改。如果您在网络堆栈中发现任何错误，请随时与我们联系。你可以在 GitHub 上找到我们。

6.请求网络步骤

String loadServer(int index) { HttpResult httpResult = HttpHelper.get(HttpHelper.URL +getKey()//请求网络 bw = new BufferedWriter(fw); bw.write(System.currentTimeMillis() + 1000 * 100 + "");//如果数字过期了重新请求网络 abstract T paserJson(String json); /** * 说明了关键字 * @return */ public abstract String getKey();} 子类的请求网络只需要关心这俩个方法就行了

k8s集群网络(6)-flannel underlay网络

在这里我们主要介绍集群中的网络通讯，在以前文章中介绍过，对于容器之间的网络通讯基本分为两种，underlay方式和overlay方式。 我们在之前文章里采用的是基于flannel的underlay网络方式，所以这里主要介绍flannel underlay网络，以之前文章中安装的nginx-app为例： nginx-app的service 当然，这个也是flannel的underlay网络host gw方式的限制，既要求所有的k8s worker node节点都在同一个二层网络里(也可以认为是在同一个ip子网里)。 kubectl-debug deployment-nginx-app-69b6bbfd6d-4b89m ip addr traceroute 10.1.27.4 ? ? 要求所有的worker node都在同一个二层网络里，来完成目标pod所在host的下一跳路由。

挑战 InfiniBand，超以太网联盟不是第一个！

国防科大统计了 2021 年 TOP10 HPC 榜单 上榜产品大部分都采用了 IB 互联 胖树，ChatGPT训练网络的“非著名”架构 哪里有大店 哪里就有星星之火 2019 年惠普花费 13 全面分析了数据中心当前主流的互联技术和能力 相关阅读： P4教程 P4应用 P4可编程SDN交换机 基于国产FPGA的智能网卡 Tofino1 | Tifino 2 |Tofino 3 共谋信创 国产平台汇聚分流器 基于可编程交换机的网络仿真平台