问在多GPU机器情况下，“rescale_grad”的正确值是多少？
EN

Stack Overflow用户

提问于 2017-10-03 19:51:30

回答 1查看 180关注 0票数 0

我的批次大小是512，我有8个GPU。

我应该定义: rescale_grad =1.512还是 rescale_grad = 1. / (8* 512 )？

谢谢!

回答已采纳

发布于 2017-10-05 23:37:44

批次大小是与计算机而不是GPU绑定的东西。引用(来自这里)：

工作负载划分默认情况下，MXNet在可用的GPU之间平均划分一个数据批处理。假设批处理大小为b，并假定有k个GPU，然后在一次迭代中，每个GPU将对b/k示例执行向前和向后的操作。然后，在更新模型之前，对所有GPU进行梯度求和。

在您的例子中，b是512。因此，您应该使用rescale_grad = 1. / 512

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/46552333

复制

相似问题

问在多GPU机器情况下，“rescale_grad”的正确值是多少？EN