回答情况：
提问时间：
问题标签：
我有Coral AI usb TPU，我成功地运行了入门示例，部署了已经编译/训练过的示例模型(图像分类)，并在TPU上运行了一个鹦鹉图像推理：--input test_data/parrot.jpg
但是，我想在计算机CPU (例如，我的笔记本电脑或Raspberry Pi )中运行相同模型的推理，以比较在加速器中运行推理所需的时间，比如Coral
浏览 14提问于2022-04-28得票数 0
0回答
在智能手机上，ncnn是否支持npu加速？
android、深度学习、腾讯云测试服务、人工智能
想在安卓手机上测试检测模型的推理耗时，目前用的是vulkan加速。想问一下ncnn能否调用npu加速模型推理
浏览 502提问于2022-06-15
1回答
我想知道是否有任何系统/基础设施能够执行一些人工推理过程，例如：Context: A is a pen Question: is A vertical or horizontal Reasoning processA is horizontal提前谢谢你！
浏览 19提问于2018-04-04得票数 0
尽管有一种解释"The NC 3-系列和NC T4 _v3系列的尺寸是为计算密集型的GPU加速应用程序优化的，一些例子是基于CUDA和基于OpenCL的应用程序和仿真、人工智能和深度学习。NC T4 v3-系列的重点是基于NVIDIA的Tesla T4 GPU和AMD EPYC2罗马处理器的推理工作负载。NC 3系列专注于高性能计算和以NVIDIA的NC U.为特色的AI工作负载。
浏览 5提问于2022-10-14得票数 0
我在Vertex AI上载了我的tflite模型并创建了一个端点，我请求使用一些输入值进行推理，但它返回的结果与我本地的tflite模型的推理结果不同。虽然有相同的输入数组，但本地tflite模型和上传到Vertex AI上的模型返回了非常不同的结果。 在将值传输到Vertex AI实例时，值是否存在失真的可能性？
浏览 42修改于2021-11-17得票数 0
我目前正在使用Detectron2 Mask R-CNN实现，我相信推理速度大约为5FPS。 为了加快速度，我研究了其他推理引擎和模型实现。例如ONNX，但我无法获得更快的推理速度。有没有其他成熟和快速的推理引擎或其他技术来加速推理？
浏览 73提问于2019-12-18得票数 7
我一直在使用TensorRT和TensorFlow-TRT来加速我的DL算法的推理.日本航空公司Trax
两者似乎都加速了DL。但我现在很难理解他们。有人能用简单的术语来解释吗？
浏览 4修改于2021-10-27得票数 5
回答已采纳
如何在PyTorch中进行批量推理？如何并行推理来加速那部分代码。我从进行推理的标准方法开始： with torch.no_grad(): inputs= inputs.to(device) output = output.to(device) 我研究过，唯一提到并行推理(在同一台机器上
浏览 727修改于2020-08-27得票数 1
回答已采纳
我正面临一条错误信息
“帐户级服务限制‘所有笔记本实例中弹性推理加速器的数量。’为0个加速器，当前使用的加速器为0个，请求增量为1个加速器。请与AWS支持联系，要求增加此限制。”
浏览 9提问于2022-04-04得票数 0
回答已采纳
我正在尝试加速一个人员计数器应用程序的推理速度，为了使用GPU，我已经按照描述设置了推理机配置： device_name = "GPU"
ie.SetConfig({ {PluginConfigParams/cldnn_global_custom_kernels/cldnn_global_custom_kernels.xml"} }, device_name); 并在推理引擎上加载网络，我已经设置了目标设备KEY_DYN_BATCH_ENABLED, PluginConfi
浏览 7修改于2020-01-29得票数 1
回答已采纳
对于模型推断，我们尝试两种情况：
波束搜索。我们尝试使用光束宽度5，其推断时间约为400 is ~1000 is。那么，是否有任何建议来缩短我们的案件的推理时间呢？谢谢。
浏览 4修改于2020-06-20得票数 2
有了经过训练的“.h5”Keras模型文件，我正在尝试优化推理时间：
(打开以提高TensorFlow和Keras支持的推理速度的其他建议)
浏览 1提问于2019-07-06得票数 3
2回答
我有一个Keras模型，它在Raspberry Pi (用相机)上进行推理。，我还能做些什么来提高推理的速度吗？有没有一种方法可以简化model.h5并降低准确度？我已经在简单的模型上取得了成功，但是对于这个项目，我需要依赖现有的模型，这样我就不能从头开始训练了。
浏览 0修改于2017-11-05得票数 7
回答已采纳
我已经有了一个torch模型(BERT)，我想使用ai-platform服务通过GPU获得在线预测，但我不知道如何做到这一点。以下命令在不使用加速器的情况下有效： mls1-c4-m4'但是如果我使用不同的机器类型，我知道我可以与<em
浏览 49修改于2020-03-10得票数 1
回答已采纳
我一直在阅读Google AI平台的文档以进行推断，它们似乎(也许我错过了它)说明支持哪些框架。 我是不是应该假设所有框架都是受支持的？训练方支持自定义dockers，这给人一种感觉，只要你可以将任何代码打包到容器中，它就会运行-但在预测/推理产品上没有这样的指导。
浏览 17提问于2020-08-28得票数 0
1回答
总加速速度是多少？Speedup = 1 / [0.7 + 0.3*0.8/4 + 0.3*0.2*0.5/2 + 0.3*0.2*0.5] = 1.2422
但答案是错误的，这表明我的推理是错误的，但我不知道哪里是错误的
浏览 5修改于2015-05-22得票数 1
我想尝试将推理加速器附加到ECS任务中。字段InferenceAccelerators据认为是一个受支持的字段
我是不是做错了什么，这是个错误，还是因为某种原因，任务定义中不支持推理加速器？
浏览 1提问于2021-07-28得票数 0
回答已采纳
我有两个数组(即Ai和Bi)，我想在它们之间插入数据。我认为我可以将它们绑定到纹理内存并设置插值，但我不确定如何才能做到这一点。
CUDA附带的示例使用Ai-1和Ai+1进行插值。我尝试这样做是因为我认为我可以获得很好的加速效果。
浏览 3修改于2015-06-26得票数 1
回答已采纳
0回答
哪个Ai工具最好用？你会选择deepfig还是豆包？
工具、数学、DeepSeek
哪个Ai工具最好用？你会选择deepfig还是豆包？deepfig和豆包他们两个是有区别的，deepfig专注于专业领域，擅长代码生成，数学建模，推理成本低，豆包主打多模态多场景创意生产，支持文生图，实时联网，更贴近生活
浏览 209提问于2025-09-14
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号