NVLink是否加速了DistributedDataParallel的训练？

Question

Nvidia的NVLink加速了同一台机器上几个GPU之间的数据传输。我用PyTorch在这样的机器上训练大型模型。

我明白为什么NVLink会使模型并行培训更快，因为一次通过模型将涉及多个GPU。

但是它是否会加速使用DistributedDataParallel的数据并行训练过程？

Answer 1

k GPU上的数据并行培训是如何工作的？

您将您的小批处理拆分为k部件，每个部分在不同的GPU上转发，并且在每个GPU上估计梯度。但是，更新权重必须在所有GPU之间同步(这是非常关键的)。这也是NVLink在数据并行培训中变得重要的地方。