集群内GPU的常见拓扑是什么？

Question

我是高性能计算领域的新手，正在学习GPU卡的Allreduce操作。我发现了一种称为ring-Allreduce的高效集合操作，它要求GPU卡的物理拓扑为树型拓扑。但是，我检查我自己的服务器的拓扑，如下所示。

​

​

GPU卡似乎是通过多条本地PCIe总线和PCIe主桥连接在一起的。是总线拓扑的层次结构吗？

Answer 1

双插槽系统的每个插座上都有几个PCIe根端口。PCIe网桥连接到每个根端口，GPU连接到网桥。

标有PIX的连接位于连接到同一网桥的GPU之间。

标有节点的连接位于连接到两个不同网桥的GPU之间(在两个不同的根端口上)。

标有SYS的连接连接到不同套接字上的根端口。