我正在使用Niftynet训练一个使用2个GPU的CNN。据我所知,每个GPU都是独立训练的,因为我每次迭代都会得到两个损失值。两个GPU的结果是否在推断时合并?我曾经相信使用多个gpus可以减少训练时间,但在Niftynet中似乎不是这样。
发布于 2019-03-01 18:34:33
是的,正确。在我的情况下,它确实减少了训练时间。请注意,通过使用多个GPU,批处理大小会加倍。
例如,如果你的batch size = 2,在使用多个图形处理器后,这意味着每个图形处理器都将有batch size = 2。因此,您的最终批处理大小将为4。
https://stackoverflow.com/questions/53831182
复制相似问题