开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

社区首页 >问答首页 >有没有办法在cpu中优化pytorch推理？

问有没有办法在cpu中优化pytorch推理？
EN

Stack Overflow用户

提问于 2021-09-19 07:58:00

回答 1查看 261关注 0票数 0

我打算在网站上提供pytorch模型(Resnet18)。

然而，在处理器中推理(Amd3600)需要70%的cpu资源。

我不认为服务器(Heroku)可以处理这种计算。

有没有办法在cpu中优化推理？

非常感谢

EN

回答 1

Stack Overflow用户

发布于 2021-09-19 09:18:37

您可以尝试修剪和量化您的模型(压缩模型大小以进行部署的技术，允许加快推断速度并节省能源，而不会造成显著的精度损失)。在pytorch网站上有模型修剪和量化的例子，你可以查看。

https://pytorch.org/tutorials/intermediate/pruning_tutorial.html https://pytorch.org/tutorials/advanced/dynamic_quantization_tutorial.html

票数 0

EN

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/69241400

复制

相似问题