CPU推理会降低精确度吗？

Question

我目前使用tacotron2和hifi-gan进行文本到语音转换。它与GPU工作良好，但在部署到服务器并使用CPU运行模型后，效果不如以前好。所以我的问题是:用CPU进行推理会降低模型的准确性吗？如有，请解释或寄给我任何参考文件或文章。

还有一件事，我注意到当运行model.cuda().eval().half()和保存tacotron2模型时，模型大小减少到一半，并且似乎运行find，所以如果我使用这个半大小的模型，它会降低精度吗？

Answer 1

你想研究一下NVIDIA，丹瑟尔流的混合精度训练。

机器学习通常不需要高精度的浮点。GPU和框架可以考虑到这一点，以加快培训。

但是，在部署过程中，模型没有考虑到这一点。你的模型越深，这个问题就越多，因为这些细微的差异加起来就越大。