在近日召开的 GTC 2022 春季大会上,英伟达隆重发布了新一代以太网平台 NVIDIA Spectrum-4。 由 Spectrum-4 加持的 SN5000 交换机,最高可以支持 128 个 400GbE 端口或 64 个 800GbE 端口。 为了实现更好的 AI 智能管理运维,NVIDIA Spectrum-4 还优化了 RoCE 网络架构,并提供自适应路由(Adaptive Routing)和增强拥塞控制。 这样一来,搭载了 NVIDIA Spectrum-4 的数据中心不仅各种应用跑得更加畅快,而且在网络与安全性能上也有了更加可靠的保障。 英伟达收购 Mellanox 和 Cumulus Networks 所产生的巨大价值,也在 NVIDIA Spectrum-4 身上得到了极佳的展现。
在今年春天的GTC大会上,英伟达推出了自己的51.2Tbps以太网交换机芯片Spectrum-4。 因为,在今年春天的GTC大会上,英伟达展示了其51.2Tbps Spectrum-4以太网交换机。 Spectrum-4基于2019年英伟达收购Mellanox时获得的技术,该交换机芯片拥有许多与Broadcom的Tomahawk 5相同的功能,包括在单个机箱上支持多达64个800Gbps端口。
以太网通过 RoCE(RDMA over Converged Ethernet)和 PFC(优先级流量控制)实现无损,但需交换机(如 Spectrum-4)与 DPU(BlueField-3)协同。 性能隔离与安全 通用共享缓冲区(如 Spectrum-4 的 133Gbps 全共享缓冲区)比分割缓冲区有效容量大4 倍,公平分配带宽,避免 “嘈杂邻居” 影响。
英伟达 2022年4月,英伟达发布了新一代以太网平台 英伟达Spectrum-4。 该平台由英伟达Spectrum-4 交换机系列、ConnectX-7 智能网卡、英伟达BlueField-3 DPU 和 DOCA 数据中心基础设施软件组成,能够大幅加速大规模云原生应用。 Spectrum-4号称是全球首个 400Gbps 端到端网络平台,其单芯片交换吞吐量达到了51.2Tbps,比上一代产品高出 4 倍,能够为规模大数据中心基础设施提供超高的网络性能和强大的安全性。 由 Spectrum-4 加持的 SN5000 交换机,最高可以支持 128 个 400GbE 端口或 64 个 800GbE 端口。 Spectrum-4 还优化了 RoCE 网络架构,并提供自适应路由(Adaptive Routing)和增强拥塞控制。
它是 NVIDIA Spectrum-X 平台的一部分,与 Spectrum-4 以太网交换机系统无缝集成NVIDIA BlueField-3 SuperNIC 和 Spectrum-4 交换机系统共同构成了专为优化 当与 AI 优化的 NVIDIA Spectrum-4 交换机紧密集成时,它提供自适应路由、乱序数据包处理和优化的拥塞控制。
在数据中心赚得盆满钵满 Intel除了2020疫情年 季度营收的曲线相当稳定成型 CPU+IPU+网络ASIC阵型已经完备 Nvidia 数据中心营收跳涨 同样是 GPU+DPU+网络ASIC 虽然Spectrum
AGI小咖 "作为Meta AI网络架构系列演进篇,本文深度拆解Meta面向吉瓦级集群(如Prometheus)重构的非调度架构(NSF)——基于浅缓存商用以太网(如搭载NVIDIA Spectrum- AI特性深度集成(NVIDIA Spectrum-4):重点引入基于NVIDIA Spectrum-4 ASIC的Minipack 3N——依靠自身提供51.2T线速吞吐被广泛应用于部署在NSF 集群的各个层级 RTSW (Rack Top Switch / Leaf):采用 Minipack3N (Spectrum-4) 作为接入锚点。
从公开渠道获取的资料Colossus集群采用英伟达400G Spectrum-X来部署无损以太网,其核心组件包括: ①NVIDIA Spectrum-4 SN5600:一款基于Spectrum-4 ASIC ②BlueField-3 DPU:一款集成了ARM核心和网络加速引擎的智能网卡(SuperNIC),在硬件层面利用内置的硬件遥测(In-band Network Telemetry, INT)消息,与Spectrum 等万卡集群的部署上共用的经验出发推测其可能会用到的部署方式,以下是其网络架构的几个核心技术细节:在物理网络层面采用业界标准化POD(Point of Delivery)组成: (1)1:1无收敛比CLOS架构: 整个网络矩阵由 NVIDIA Spectrum 图7: 服务器后端网络接口(NVIDIA BlueField-3 SuperNIC) 图8: NVIDIA Spectrum-4 SN5600交换机与高密度光纤布线 图9: 数据中心网络交换机矩阵 PART
会上,英伟达宣布推出带宽高达 51.2Tbps 且带有 1000 亿个晶体管的 Spectrum-4 交换机,它可以在所有端口之间公平分配带宽,提供自适应路由和拥塞控制功能,显著提升数据中心的整体吞吐量 凭借 ConenctX-7 和 BlueField-3 适配器以及 DOCA 数据中心基础架构软件,Spectrum-4 成为世界上第一个 400Gbps 的端到端网络平台。 与典型数据中心数毫秒的抖动相比,Spectrum-4 可以实现纳秒级计时精度,即 5 到 6 个数量级的改进。黄仁勋表示,样机预计将于第四季度末发布。
800G以太网行业现状目前市场上的800G交换芯片主要有Broadcom Tomahawk 5、Marvell Teralynx 10和Cisco Silicon One G200,NVIDIA Spectrum 芯片更侧重其高效的SerDes设计降低功耗,Marvell Teralynx 10强调其业界超低延迟表现,Cisco Silicon One G200采用P4可编程并行处理器,更加灵活可定制,而NVIDIA Spectrum
常见的平顶和带散热片顶的光模块及应用 在实际应用中,顶部带散热片的光模块主要用于英伟达(NVIDIA)Quantum-2 NDR InfiniBand和Spectrum-4 SN5600 400GbE以太网风冷交换机
顶部带散热片光模块:仅适用于英伟达(NVIDIA)Quantum-2 NDR InfiniBand和Spectrum-4 SN5600 400GbE以太网风冷交换机,这些交换机在高负载场景中需要有效散热
顶部带散热片:这些光模块采用散热片结构,可提高气流效率,专用于Quantum-2 InfiniBand及Spectrum-4以太网交换机。
NVIDIA 的 Spectrum-4 以太网交换机和 BlueField-3 SuperNIC 构成了 Spectrum-X 平台的基础,也是我们人工智能加速计算结构的基础。
中,我们分享了Meta面向吉瓦级集群(如Prometheus)重构的非调度架构(NSF)——基于浅缓存商用以太网(如搭载NVIDIA Spectrum-4 ASIC的Minipack 3N)和基于ORv3
Meta的NSF(非调度光纤网络)已在生产环境中得到验证:通过FBOSS+SAI,同时运行着博通(Tomahawk5)、思科(G200)和英伟达(Spectrum-4) 的ASIC。
●另一方面Spectrum-X 作为面向AI云的端到端以太网平台,通过Spectrum-4交换机与BlueField-3DPU深度耦合,专门为了解决标准以太网应对AI“大象流”时的拥塞与性能瓶颈。 Spectrum-X通过以下关键技术解决AI“大象流”痛点: 1.RoCE自适应路由 (Adaptive Routing): Spectrum-4交换机实时监控并动态选择最不拥塞路径(逐包HASH负载均衡