- 综合排序
- 最热优先
- 最新优先
NPU上运行onnxruntime
1 问题背景在Ascend环境上，使用onnxruntime推理时，报错：/onnxruntime_src/onnxruntime/core/session/provider_bridge_ort.cc :1193 onnxruntime::Provider& onnxruntime::ProviderLibrary::Get() [ONNXRuntimeError] : 1 : FAIL : Failed 由于是Ascend环境，肯定是没有GPU的，很明显是onnxruntime的包装错了。pip show onnxruntime-gpu通过如上命令，可以看到环境上确实安装的是gpu版本的。 这里先卸载onnxruntime-gpu。 2 解决办法通过查找onnxruntime社区，可以发现npu已经对onnxruntime进行了适配，参考如下文档：onnxruntime/docs/execution-providers/community-maintained
73310编辑于 2025-03-10python onnxruntime gpu是否可用
在Python中，要检查ONNX Runtime是否可以使用GPU，可以使用以下代码： import onnxruntime as ort # 检查CUDA是否可用 def is_cuda_available ort.get_device() == 'GPU' except Exception: return False # 检查ONNX Runtime是否支持CUDA def is_onnxruntime_cuda_supported (): return ort.get_device() == 'GPU' # 检查ONNX Runtime是否使用CUDA def is_onnxruntime_using_cuda(): providers # 测试代码 print(f"CUDA Available: {is_cuda_available()}") print(f"ONNX Runtime CUDA Supported: {is_onnxruntime_cuda_supported ()}") print(f"ONNX Runtime Using CUDA: {is_onnxruntime_using_cuda()}") 请确保已经安装了ONNX Runtime，并且如果使用GPU
43810编辑于 2025-07-22- 来自专栏贾志刚-OpenCV学堂
ONNX模型部署利器ONNXRUNTIME框架
微信公众号：OpenCV学堂 关注获取更多计算机视觉与深度学习知识 ONNXRUNTIME介绍 ONNX格式模型部署兼容性最强的框架 ONNXRUNTIME，基本上不会有算子不支持跟不兼容的情况出现，只要能导出 Python版本安装与测试 Python版本安装特别容易,一条命令行搞定 CPU版本 pip install onnxruntime GPU版本 pip install onnxruntime-gpu 首先需要配置包含目录 D:\microsoft.ml.onnxruntime.gpu.1.13.1\build\native\include 然后配置库目录： D:\microsoft.ml.onnxruntime.gpu .1.13.1\runtimes\win-x64\native 最后配置链接器，我的是支持CUDA版本，配置如下： onnxruntime_providers_shared.lib onnxruntime_providers_cuda.lib 以ResNet18模型为例，导出ONNX格式，基于ONNXRUNTIME推理效果如下：
3.8K30编辑于 2023-08-22 攻克onnxruntime之模型热启动warmup
当我们使用onnxruntime加载模型后，需要热启动。热启动过程就是随机输入一段数据然后再模型推理一遍，一般用做激活神经元。下面以yolov8s.onnx为例我们加载模型热启动一下。 测试环境： vs2019 onnxruntime==1.12.0 代码部分： #include <iostream> #include<onnxruntime_cxx_api.h> #include <
15600编辑于 2025-07-20onnxruntime在windows10编译
测试环境： windows10 cuda11.1.1 cudnn8.2.0 tensorrt8.2.3.0 VS2019 onnxruntime==1.12.1 cmake==3.24.3 编译流程： git clone --recursive https://github.com/Microsoft/onnxruntime 打开：x64 Native Tools Command Prompt for
43700编辑于 2025-07-19onnxruntime和cuda对应关系表
官方网站参考： NVIDIA - CUDA - onnxruntime CUDA Execution Provider The CUDA Execution Provider enables hardware ONNX Runtime Training is aligned with PyTorch CUDA versions; refer to the Optimize Training tab on onnxruntime.ai Example python usage: from onnxruntime.training.ortmodule.torch_cpp_extensions import torch_gpu_allocator One has to compile ONNX Runtime with onnxruntime_USE_CUDA_NHWC_OPS=ON. x_values.size(), cudaMemcpyHostToDevice); session.Run(run_option, binding); C# (future) Samples Python import onnxruntime
1.4K11编辑于 2025-07-19- 来自专栏又见苍岚
onnxruntime-gpu 预热速度优化
onnxruntime-gpu 在程序启动后第一次推断会消耗较大的系统资源，并且耗时更久，本文记录优化方法。 问题描述 在 Python 下 onnxruntime-gpu 加载 onnx 模型后，创建 seddion 进行数据推断，在第一次执行时会比之后执行耗时更久，需要资源更多。 session = onnxruntime.InferenceSession(str(model_path), providers=[ "CUDAExecutionProvider Provider 的配置项说明：NVIDIA - CUDA | onnxruntime 其中 https://onnxruntime.ai/docs/execution-providers/CUDA-ExecutionProvider.html /onnxruntime-cuda-speedup/
2.6K10编辑于 2024-04-23 - 来自专栏贾志刚-OpenCV学堂
PyQT5+ONNXRUNTIME实现风格迁移应用
2023年一月份跟二月份创建了一个PyQT5人工智能软件开发系列的文章系列，过去的两个月都没怎么更新，心里一直想有时间继续更新下去，今天又更新了一篇，基于PyQT5实现多线程、界面化、风格迁移模型的实时推理。
44530编辑于 2023-10-26 攻克onnxruntime之求输入tensor的长度
，求输入tensor长度,一般我们用简单乘法1*3*640*640就可以实现，但是我看github大佬们都喜欢用std::accumulate去做，于是记录一下求解长度方法 测试环境 vs2019 onnxruntime ==1.12.0 代码部分，这里以yolov8s.onnx为例子： #include <iostream> #include<onnxruntime_cxx_api.h> #include <numeric
18610编辑于 2025-07-20- 来自专栏JadePeng的技术博客
【开源】java版本BertTokenizer以及使用onnxruntime推理
首先ONNX 推理，可以使用onnxruntime <dependency> <groupId>com.microsoft.onnxruntime</groupId> <artifactId >onnxruntime</artifactId> <version>1.15.1</version> </dependency> 另外，训练的模型需要用到bert分词器，将单词和字变成token
1.2K20编辑于 2023-10-16 攻克onnxruntime之自动切换CPU和GPU
要求：如果你用的onnxruntime是cpu版本的就用cpu，如果你用onnxruntime是gpu版本则自动使用GPU，这样就不用每次换个库来回修改代码了。 这个怎么实现呢，具体看下面代码 测试环境： vs2019 onnxruntime==1.12.0 代码部分： #include <iostream> #include<onnxruntime_cxx_api.h using namespace Ort; int main() { const wchar_t* model_path = L"C:\\Users\\fut\\Desktop\\yolov8-onnxruntime "CUDAExecutionProvider"); OrtCUDAProviderOptions cudaOption; bool isGPU = true;//这个手动设定，如果onnxruntime cudaAvailable == providers.end()))//没有找到cuda列表 { std::cout << "GPU is not supported by your ONNXRuntime
52810编辑于 2025-07-20使用onnxruntime部署yolov8-onnx印章检测
1001.2014.3001.5501 【源码下载】 https://download.csdn.net/download/FL1623863129/88703682 【测试环境】 vs2019 onnxruntime1.16.3
28810编辑于 2025-07-17- 来自专栏贾志刚-OpenCV学堂
ONNXRUNTIME部署一键人像抠图模型
MODNet模型ONNX介绍 一键人像抠图，实时支持的模型，整个代码实现是基于Pytorch完成，通过脚本可以一键导出ONNX格式模型，官方提供了ONNXRUNTIME模型部署推理演示的Python版本代码 mask, mask, cv::Size(frame.cols, frame.rows)); cv::bitwise_and(frame, frame, result, mask); 03 测试运行 基于ONNXRUNTIME
1.5K20编辑于 2023-08-22 使用onnxruntime部署yolov11-onnx实例分割模型
break; } capture.Release(); } } } 【视频演示】 C#使用onnxruntime 部署yolov11-onnx实例分割模型_哔哩哔哩_bilibili【测试环境】vs2019net framework4.7.2opencvsharp4.8.0onnxruntime1.16.3 更多信息或者源码下载参考博文 download.csdn.net/download/FL1623863129/89852006 【测试环境】 vs2019 net framework4.7.2 opencvsharp4.8.0 onnxruntime1.16.3
75610编辑于 2025-07-22攻克onnxruntime之从内存字节流加载onnx模型
以下是代码 测试环境： vs2019 onnxruntime==1.12.0 代码部分： #include <iostream> #include<fstream> #include<onnxruntime_cxx_api.h
27610编辑于 2025-07-20使用onnxruntime部署yolov8-cls图像分类onnx模型
FL1623863129/article/details/142734780 本文和 opencv去部署yolov8分类模型区别是：opencv部署推理核心使用opencv自带api，而本文推理核心用的onnxruntime FONT_HERSHEY_SIMPLEX, 1, cv::Scalar(0, 255, 0), 2); } return 0; } 【测试环境】 vs2019 cmake==3.24.3 opencv==4.8.0 onnxruntime
65510编辑于 2025-07-22使用onnxruntime部署yolov11-cls图像分类onnx模型
spm=1001.2014.3001.5501 本文和 opencv去部署yolov11分类模型区别是：opencv部署推理核心使用opencv自带api，而本文推理核心用的onnxruntime，opencv FONT_HERSHEY_SIMPLEX, 1, cv::Scalar(0, 255, 0), 2); } return 0; } 【测试环境】 vs2019 cmake==3.24.3 opencv==4.8.0 onnxruntime
67710编辑于 2025-07-22- 来自专栏贾志刚-OpenCV学堂
多线程界面化、ONNXRUNTIME + YOLOv8推理演示
2023年一月份跟二月份创建了一个PyQT5人工智能软件开发系列的文章系列，过去的两个月都没怎么更新，心里一直想有时间继续更新下去，今天又更新了一篇，基于PyQT5实现多线程、界面化、YOLOv8对象检测、实例分割、姿态评估的推理。
1.9K20编辑于 2023-08-22 onnxruntime_gpu在ubuntu安装完后测试代码
测试环境： ubuntu20.04 onnxruntime_gpu=1.28.0 cuda12.0+cudnn8.9.2 测试代码： CMakeLists.txt cmake_minimum_required (VERSION 3.10) project(onnxruntime_gpu_test) set(CMAKE_CXX_STANDARD 17) option(USE_CUDA "Enable CUDA (${CUDA_INCLUDE_DIRS}) add_definitions(-DUSE_CUDA) else () set(USE_CUDA OFF) endif () set(ONNXRUNTIME_DIR /home/drose/onnxruntime-linux-x64-gpu-1.18.0) # 查找ONNX Runtime包 include_directories(${ONNXRUNTIME_DIR include) # 添加可执行文件 add_executable(${PROJECT_NAME} main.cpp) target_link_libraries(${PROJECT_NAME} ${ONNXRUNTIME_DIR
37500编辑于 2025-07-18- 来自专栏贾志刚-OpenCV学堂
YOLOX在OpenVINO、ONNXRUNTIME、TensorRT上面推理部署与速度比较
输出格式：1x8400x85 官方说明ONNX格式支持OpenVINO、ONNXRUNTIME、TensorRT三种方式，而且都提供源码，官方提供的源码参考如下： https://github.com ：1.7-CPU-OpenCV4.5.4-Python3.6.5-YOLOX-TensorRT8.4.x 在三个推理平台上测试结果如下： 运行截图如下： onnxruntime推理 OpenVINO 推理 TensorRT推理 - FP32 转威FP16 TensorRT推理 - FP16 总结 之前我写过一篇文章比较了YOLOv5最新版本在OpenVINO、ONNXRUNTIME、OpenCV DNN上的速度比较，现在加上本篇比较了YOLOX在TensorRT、OpenVINO、ONNXRUNTIME上推理部署速度比较，得到的结论就是： CPU上速度最快的是OpenVINOGPU上速度最快的是 TensorRT 能不改代码，同时支持CPU跟GPU推理是ONNXRUNTIME OpenCV DNN毫无意外的速度最慢（CPU/GPU） 扫码查看OpenCV+Pytorch系统化学习路线图 推荐阅读
5.6K40编辑于 2022-04-14
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号