如何在一个内构建两个GPU服务器？

Question

NVIDIA 目录是否不正确？：NVLink是一个比目录建议的更广泛可用的连接器。无论哪种方式，NVlink只连接两个PCIe4卡，我希望用它构建一个服务器。

从现在起服务器就有点精神分裂了。

一方面，我希望它承载两个(A100) GPU，连接到NVLink。然而，这些GPU将只在VPN上，而不是在互联网上。因此，这些GPU应该有自己的CPU、RAM、存储器、VPN网络硬件。如果您有深入的知识，我希望能够监控什么进出这个子系统。这个是可能的吗？

另一方面，我也想托管一个或两个A2 (或T4) GPU，这些GPU是web服务器的一部分，具有所需的网络和存储硬件。

这种配置可以用一个ASUSESC4000A-E10吗？或者你知道的服务器？刀片结构是不可能的。

Answer 1

我最近得到了一个带有2 A100s的服务器，但是它们占用了太多的能量，所以您不能合理地将更多的GPU放在同一个系统中。我已经为这台服务器运行了208 V的线路。即使你有它的电源，你也可能无法适应冷却。如果您向Nvidia支付特权：Nvidia网格的许可费，您可以将它们分成8部分。

如果您必须拆分GPU，则可以将它们传递给虚拟机。如果您这样做了，我强烈建议您获得两个相同的服务器，并根据需要将它们设置为迁移VM。你不需要买两倍于你所需要的(完全多余的)，你可以在两台机器之间平分你需要的卡片数量。

NVlink用于数据中心及其疯狂的配置。如果您只需要2 A100，您可以只使用PCIe版本的卡。