多GPU训练不会减少训练时间。

Question

为了评价多GPU训练的效果，我尝试了三种使用角点分割的UNet模型。

1. First模型在1 GPU (P100)上使用1批大小进行训练。每个训练步骤约254毫秒。(请注意，这是步骤，而不是划时代)，
2. 第二模型是使用2个批次大小使用1个GPU (P100)训练的。每个训练步骤采用~399 was，
3. 第三模型用2个GPU (P100)进行2批训练。每个训练步骤约370。从逻辑上讲，它应该与第一种情况的时间相同，因为这两个GPU并行处理1批，但花费了更多的时间。

谁能说出多GPU训练是否会缩短训练时间？作为参考，我尝试了所有的模型使用角角。

Answer 1

我认为这是因为您使用了一个非常小的batch_size；在这种情况下，在两个GPU上分发梯度/计算并将它们取回(以及CPU到GPU(2)数据分发)的成本超过了相对于顺序训练(在一个GPU上)的并行时间优势。

例如，当批处理大小为8/16时，预期会看到更大的差异。