回答情况：
提问时间：
问题标签：
我期望内置长度/2谓词在逻辑推理的数量上是线性的。然而，它似乎是不变的：% 2 inferences, 0.000 CPU in 0.000 seconds (63% CPU, 142857 Lips)- length(L,20),time(length(L,X)).
% 2 inferences, 0.000 CPU in 0.000 seconds (62% CPU, 153846 Lips)- len
浏览 3提问于2016-05-07得票数 4
回答已采纳
我想在CPU上运行推理；尽管我的机器有GPU。我想知道是否有可能强制TensorFlow使用中央处理器而不是图形处理器？默认情况下，TensorFlow会自动使用GPU进行推理，但由于我的GPU不好(OOM‘’ed)，我想知道是否有设置强制Tensorflow使用CPU进行推理？
浏览 0修改于2021-06-22得票数 1
硬件设置为64x64bit CPU，380 is。Java/Lein设置如下：运行一个大型并行Clojure推理算法
java.lang.OutOfMemoryError: GC overhead当限制在10 to内存和10个CPU时，该算法不会遇到这个问题。
浏览 5修改于2016-04-16得票数 2
回答已采纳
在计算机GPU计算上大大加快了推理速度，但在我的手机上，GPU上的推理速度比CPU慢约30倍。我已经看到，我的手机目前运行的是Android9，因为它只支持大约30个NNAPI操作，而Android10支持大约100个(Video：@6:19)，但我还没有看到任何关于图形处理器代表的东西。对于较大的n，GPU的推理时间接近CPU，这让我认为GPU代理可能只是在我手机的CPU上进行计算。以下是CPU/GPU计时与n的大小比较的一些示例： N =
浏览 36提问于2020-07-15得票数 1
但是使用cpu设备和gpu设备的推理结果是不同的。
结果如下:左文件是使用cpu的推理结果(第二列)，右文件是使用CpuAndGpu的推理结果(第二列)。
浏览 0提问于2020-01-21得票数 1
回答已采纳
这个问题是关于推理部分的。我正在尝试在cpu和gpu上进行基准测试。我正在使用Nvidia P100图形处理器(4个芯片)在我当前的GCE盒上。我是gpu的新手，所以对于一些幼稚的问题，我很抱歉。在训练期间，我不做任何设备放置，但在推理过程中，我希望它最佳地放置和使用gpu。我观察到的几件事:我的输入节点占位器(feed_dict)放在cpu上，所以我假设我的数据正在从cpu复制到gpu？在批处理大小为<= 10k之前，增加给定时期的批处理大小对cpu和gpu的影
浏览 0提问于2018-05-17得票数 0
当我使用设备多: CPU运行推理时(在Python或wih benchmark_app上)，我得到的推理时间与仅使用CPU的时间相同。
浏览 9提问于2022-05-02得票数 -1
我编写了一个机器学习推理库，它有python绑定。在正常操作下，该库将使用8个线程进行推理，并将所有8个线程全部释放100%。这是所需的行为，因为模型非常重，我需要为低延迟进行优化(因此我需要使用所有的CPU资源)。如果我编写一个python脚本并调用这个库中的推理函数(在一个无限循环中)，这8个线程就会如预期的那样被最大化(这是htop命令的输出)。现在我有个问题。如果我在机器学习库中调用相同的推理函数，再次在无限循环中调用，但这次是从我的FastAPI端点中调用的，那么每个线程的C
浏览 6提问于2022-10-27得票数 1
回答已采纳
但是，当我尝试使用多处理来并行化它(甚至使用torch.multiprocessing)时，每个推理平均花费20秒，为什么呢？func是一个推理函数，它接收patient_name并运行torch模型来推断该患者的数据。device = torch.device(torch.device('cpu'))
model_state
浏览 242修改于2020-09-03得票数 0
我可以选择比原来快10倍的CPU，也可以选择O(n^2)的算法B。显然，我会选择算法B，但我需要从数学上证明这一点，而不仅仅是通过推理。他们如何从(2^n / 10)得到(n +log10)？
浏览 4提问于2012-03-15得票数 0
我在一个有两个标签的10m大小的数据集上训练了一个RandomForest。用sklearn进行推断需要450 ms。但是，在将相同的模型转换为PyTorch后，现在需要128 on的CPU推理。如果两者都运行在CPU上，那么为什么蜂鸟的Pytorch模型比sklean模型更快呢？
我不明白蜂鸟对我的滑雪板模型做了什么来提高速度。
浏览 0修改于2020-06-23得票数 1
回答已采纳
我一直在尝试在Movidius神经计算棒上运行自定义Tensorflow模型的推理。问题是，NCSDK不支持最后一层。由于最后一层的计算非常轻，我想知道是否有可能在CPU上运行该层？我只需要能够在NCS上运行推理到某一层，然后在CPU上处理最后一层。
浏览 1提问于2018-07-09得票数 1
我使用默认优化(Float32)设置将网络转换为TFlite，其推理速度约为25fps。当我转换为TFlite INT8量化时，它的推理速度在英特尔8核英特尔酷睿i9 2.3 GHz上约为2 fps。这在CPU上是预期的吗？有人能解释一下是什么导致INT8推理速度慢吗？
浏览 45提问于2020-10-30得票数 0
我想用opencv-python4.4为YOLOv3做推理。但它默认使用CPU。我读过这个说明，说新版本的opencv4.2.0已经支持了。但是这个指令只适用于Ubuntu，而我的指令是Windows10。
我试过了，你能告诉我如何在Wondows10中做到这一点吗？::dnn::dnn4_v20191202::Net::Impl::setUpNet DNN module was not built with CUDA backend; switching to CPU
浏览 2修改于2020-09-07得票数 2
我试图在C++中运行模型推理。我能够在C++中使用torch::jit::load()加载模型。我能够在cpu和gpu上进行推理，但是起点总是torch::from_blob方法，它似乎正在创建cpu端张量。
为了提高效率，我想直接向CUDA张量转换/复制cv::cuda::GpuMat。
浏览 0提问于2018-12-04得票数 1
回答已采纳
我正在测试MNIST和CIFAR10数据库。奇怪的是，当我试图用硬件加速来加快推理时间时，它们的表现总是比以前差。Ultra上获得的结果，它肯定有一些功能强大的GPU和NPU(每个推断的结果都是毫秒)：MNIST GPU: 2.322CIFAR10CPU: 0.810CIFAR10 NNAPI: 6.608
我在基准测试之前对处理单元进行了热身，并多次执行推理，
浏览 18修改于2022-08-02得票数 0
使用预置深度学习镜像的普通tf1.11运行宽范围、线性和深度模型推理，用于gpu的M9版本显示出比版本M10 (用于cpu推理)更好的性能。最新:tf- M9 -cu92在这两个镜像中，tf版本都是1.11，它们都预置了英特尔mkl优化的二进制文件。我打开了mkl指令的详细记录，在M10镜像上我看到了很多mkl相关的设置。注意:尽管M9镜像是针对图形处理器的，但我将cuda设备可见性和基准测试仅限于cpu</
浏览 14修改于2018-10-26得票数 1
基于PyTorch教程，我在保存训练过的模型并加载它以进行推理方面没有问题。但是，加载模型所需的时间很慢。我不知道我做得是否正确，下面是我的代码： 要将训练好的模型保存为状态字典，请执行以下操作： torch.save(model.state_dict(), 'model.pkl') 要加载它以进行推理：len(classes))
st = torch.load('model.pkl', map_location='cuda:0' if torch.cuda.is_available() else
浏览 17修改于2021-03-12得票数 6
我正在尝试加速一个人员计数器应用程序的推理速度，为了使用GPU，我已经按照描述设置了推理机配置： device_name = "GPU"
ie.SetConfig({ {PluginConfigParams/cldnn_global_custom_kernels/cldnn_global_custom_kernels.xml"} }, device_name); 并在推理引擎上加载网络，我已经设置了目标设备KEY_DYN_BATCH_ENABLED, PluginConfigParams::
浏览 7修改于2020-01-29得票数 1
回答已采纳
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号