基于cpu的fp16推理
基于cpu的fp16推理
提问于 2020-05-31 14:39:40
我有一个pretrained pytorch模型，我想在fp16而不是fp32上推断，我已经在使用gpu时尝试过了，但是当我在cpu上尝试它时，我得到了："sum_cpu" not implemented for 'Half' torch。有什么修复方法吗？
回答 1
Stack Overflow用户
发布于 2021-01-11 14:46:59
据我所知，Pytorch中的许多基于CPU的操作都没有实现来支持FP16；相反，从CUDA7.0(Ish)开始，NVIDIA GPU就有了对FP16和PyTorch的硬件支持(例如，Turing arch GPU中的张量内核)。要通过量化到FP16来加速CPU上的推断，您可能需要尝试torch.bfloat16 dtype(https://github.com/pytorch/pytorch/issues/23509)。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/62112534
复制相关文章
相似问题
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号