在GPU上进行训练并在CPU上进行推理时的模型精度

Question

当我们关心速度的时候，GPU比CPU好得多。。

但是，如果我在GPU上训练一个模型，然后在CPU上部署同样经过训练的模型(不使用量化技术)，这会影响我的模型的准确性吗？同一模型在CPU上的精度会下降吗？

我的直觉说，GPU和CPU之间的关系，如果涉及到精度，就不应该有任何区别。

但我有一点怀疑，GPU和CPU内部处理信息的方式各不相同。他们都有不同的建筑。当模型在GPU上进行训练时，在CPU上训练时是否会发生完全相同的处理方式，但速度要慢得多呢？我不关心训练时的准确性，但如果一个模型是在GPU上训练的，它在CPU上的性能是否完全相同？

Answer 1

对于相同的输入，您得到的结果将是相同的。因此，对于任何实际目的，您获得的准确性将不取决于您是使用cpu还是gpu。

*达到浮点精度。来自这个职位网站的“火把论坛”：

两者都在实施浮点数计算标准。所以它们都是正确的(尽管他们可能是不同)

Answer 2

经过训练的模型只是一组定义良好的浮点数，即参数。

如果我们去预测，

它所做的是大量的乘法和加法输入数据和参数。这将由ALU ( CPU和GPU)完成。

一个CPU将有几个ALU，一个GPU将有数千个ALU。因此，它将很快完成任务。

所以，除非有不同的精度保持浮动，这可能积累在一个深网络，我不认为有任何理由，预测应该不同。