回答情况：
提问时间：
问题标签：
它与GPU工作良好，但在部署到服务器并使用CPU运行模型后，效果不如以前好。所以我的问题是:用CPU进行推理会降低模型的准确性吗？如有，请解释或寄给我任何参考文件或文章。
浏览 16提问于2022-06-01得票数 -1
默认情况下，Tensorflow可以使用多个核心，下面是关于这个的一些信息
单核顺序处理：Processing time: 37.58 sec
多CPU默认Tensorflow设置
浏览 0修改于2019-06-02得票数 0
回答已采纳
我想在CPU上运行推理；尽管我的机器有GPU。我想知道是否有可能强制TensorFlow使用中央处理器而不是图形处理器？默认情况下，TensorFlow会自动使用GPU进行推理，但由于我的GPU不好(OOM‘’ed)，我想知道是否有设置强制Tensorflow使用CPU进行推理？
浏览 0修改于2021-06-22得票数 1
但是使用cpu设备和gpu设备的推理结果是不同的。
结果如下:左文件是使用cpu的推理结果(第二列)，右文件是使用CpuAndGpu的推理结果(第二列)。
浏览 0提问于2020-01-21得票数 1
回答已采纳
我现在试图在同一台机器上使用该模型进行推理，但使用的是CPU而不是GPU。除此之外，我还试图使用多处理模块来使用多CPU核。现在有个问题，os.environCUDA_VISIBLE_DEVICES']="&q
浏览 0修改于2019-09-30得票数 11
1回答
我有一个pretrained pytorch模型，我想在fp16而不是fp32上推断，我已经在使用gpu时尝试过了，但是当我在cpu上尝试它时，我得到了："sum_cpu" not implemented
浏览 0提问于2020-05-31得票数 0
我想知道在GPU上训练的模型是否可以用来与cpu一起运行推理？(反之亦然)感谢你！
浏览 3提问于2016-12-05得票数 16
回答已采纳
当我们关心速度的时候，GPU比CPU好得多。。我的直觉说，GPU和CPU之间的关系，如果涉及到精度，就不应该有任何区别。
但我有一点怀疑，GPU和CPU内部处理信息的方式各不相同。他们都有不同的建筑。当模型在GPU上进行训练时，在CPU上训练时是否会发生完全相同的处理方式，但速度要慢得多呢？我不关心训练时的准确性，但如果一个模型是在
浏览 0提问于2021-05-27得票数 0
回答已采纳
但不幸的是，我们的产品实例只是CPU实例。当我试图使用GPU训练的模型与CuDNNGRU上只有CPU的实例，我得到了以下错误。
浏览 1提问于2019-08-19得票数 1
当我使用设备多: CPU运行推理时(在Python或wih benchmark_app上)，我得到的推理时间与仅使用CPU的时间相同。
浏览 9提问于2022-05-02得票数 -1
我编写了一个机器学习推理库，它有python绑定。在正常操作下，该库将使用8个线程进行推理，并将所有8个线程全部释放100%。这是所需的行为，因为模型非常重，我需要为低延迟进行优化(因此我需要使用所有的CPU资源)。如果我编写一个python脚本并调用这个库中的推理函数(在一个无限循环中)，这8个线程就会如预期的那样被最大化(这是htop命令的输出)。现在我有个问题。如果我在机器学习库中调用相同的推理函数，再次在无限循环中调用，但这次是从我的FastAPI端点中调用的，那么每个线程的C
浏览 6提问于2022-10-27得票数 1
回答已采纳
我已经在pascal数据集上训练了ML模型，图像大小为224，但是当在新图像(一些是高分辨率的，一些是比pascal图像略高的)上推断时，我在pil2tensor()中得到了错误 @app.route('/analyze', methods=['POST']) data = await request.form() img = open_image(BytesIO(img_bytes))
浏览 25提问于2019-06-09得票数 0
我使用默认优化(Float32)设置将网络转换为TFlite，其推理速度约为25fps。当我转换为TFlite INT8量化时，它的推理速度在英特尔8核英特尔酷睿i9 2.3 GHz上约为2 fps。这在CPU上是预期的吗？有人能解释一下是什么导致INT8推理速度慢吗？
浏览 45提问于2020-10-30得票数 0
我一直在尝试在Movidius神经计算棒上运行自定义Tensorflow模型的推理。问题是，NCSDK不支持最后一层。由于最后一层的计算非常轻，我想知道是否有可能在CPU上运行该层？我只需要能够在NCS上运行推理到某一层，然后在CPU上处理最后一层。
浏览 1提问于2018-07-09得票数 1
我试图在C++中运行模型推理。我能够在C++中使用torch::jit::load()加载模型。我能够在cpu和gpu上进行推理，但是起点总是torch::from_blob方法，它似乎正在创建cpu端张量。
为了提高效率，我想直接向CUDA张量转换/复制cv::cuda::GpuMat。
浏览 0提问于2018-12-04得票数 1
回答已采纳
我正在尝试加速一个人员计数器应用程序的推理速度，为了使用GPU，我已经按照描述设置了推理机配置： device_name = "GPU"
ie.SetConfig({ {PluginConfigParams/cldnn_global_custom_kernels/cldnn_global_custom_kernels.xml"} }, device_name); 并在推理引擎上加载网络，我已经设置了目标设备KEY_DYN_BATCH_ENABLED, PluginConfigParams::
浏览 7修改于2020-01-29得票数 1
回答已采纳
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号