三层架构面临的主要问题包括:低可扩展性、低容错性、内部服务器之间横截面带宽低、较高层超额使用(Oversubscription)、高层次的拓扑中使用的大型模块化交换机成本非常高。 二、Leaf-Spine二层网络架构 Leaf-Spine网络架构解决了传统三层网络架构所面临的Oversubscription和内部服务器之间横截面带宽问题。
什么是 Time Slicing 方案NVIDIA 提供的 Time-Slicing GPUs in Kubernetes 是一种通过 oversubscription(超额订阅) 来实现 GPU 共享的策略 但是 Time Slicing 可以进行 oversubscription 设置,将 device-plugin 上报的 GPU 数量进行扩大。 resources: - name: nvidia.com/gpu replicas: 4这里我们关注 resources 中的 replicas 参数,正是这个参数定义了 oversubscription **TimeSlicing 是一种通过 oversubscription(超额订阅) 来实现 GPU 共享的策略,这种策略能让多个任务在同一个 GPU 上进行,而不是每个任务都独占一个 GPU。
This capability enables oversubscription of device memory and can greatly simplify the task of porting
4.5 嵌入训练缓存 嵌入训练缓存(Model Oversubscription)使您能够训练高达 TB 的大型模型。 Fig. 7: Preprocessing of dataset for model oversubscription 图来自源码。
so.intra_op_num_threads = 1 # one thread per operator often stabilizes latency so.inter_op_num_threads = 1 # avoid oversubscription
=== 洞察(技术细节深挖): 收敛比(Oversubscription)分析: 下行带宽: 6个设备 x 16 Lane = 96 Lanes。
GPU Memory Oversubscription Devices of compute capability lower than 6.x cannot allocate more managed
通过较为宽松的wording给了实现很大的自由度来接入操作系统的调度器,同时避免了直接往标准中加入线程池可能导致的oversubscription问题,并且让P2300的hello world例子终于可以跑通了
Thread-based programming calls for manual management of thread exhaustion, oversubscription, load balancing
or newer) provide additional Unified Memory features such as on-demand page migration and GPU memory oversubscription
交换机数量随规模平方增长,成本高设计要点:设每台叶交换机(Leaf)连接 N 台服务器 → 共需 Leaf 数量 = 总节点数 / N核心交换机(Spine)数量 ≥ N,确保任意两叶间有直达路径推荐比例:3:1 oversubscription
来源:星融元(Asterfusion)星智AI网络解决方案确定合适的超额订阅率轨道优化拓扑的另一个好处可以超额订阅(Oversubscription)。
The problem with high oversubscription.
比如,Meta的上一代GPU集群架构使用了3.2万张芯片,总共有8个计算岛,岛与岛之间部署全速带宽,然后在顶部另加一个7:1的收敛比(oversubscription)的交换层,于是岛与岛之间的联网速度就是岛内的七分之一
优化方向: 资源超卖与共享:在 Session 模式下,通过调整 taskmanager.cpu.cores 和内存参数实现资源超卖(oversubscription),但需谨慎监控以避免整体集群过载。
通过这种机制,Kubernetes可以实现节点资源的超售(OverSubscription),比如在CPU完全充足的情况下,某机器共有32GiB内存可提供给容器使用,容器配置为Requests值1GiB