我试图通过将模型转换为OnnxRuntime来提高模型的性能。然而,当我试图测量推理时间时,我得到了一些奇怪的结果。虽然只运行一个迭代,但OnnxRuntime的CPUExecutionProvider大大优于OpenVINOExecutionProvider:
import onnxruntime as rtimport time #CPU_FP32
我是python和onnxruntime的新手。我已经成功地进行了推理。我目前正在尝试通过IObinding将推理实例定向到我系统上的特定图形处理器。我在尝试创建模块时收到以下错误: AttributeError: OrtValue 'onnxruntime‘没有'OrtValue’属性。到目前为止,我还没有找到解决方案。环境 OS: Windows 10
Cuda version: 10.2
我从Python中得到了这个onnx,但是我在context.Transforms.ApplyOnnxModel()中收到了错误-- "Unable to load DLL 'onnxruntime‘specified module could not be found. (0x8007007E)"}
Message: "The type initializer for 'Microsoft.ML.OnnxRuntime.NativeMethodsSource: "Microsoft.ML.