转换后的TensorFlow存储模型在CPU上运行，而不是在GPU上运行。

Question

我使用tf2onnx将tensorflow保存模型转换为ONNX格式：

python3 -m tf2onnx.convert --saved-model saved_model/ --output onnx/model.onnx --opset 11

转换工作良好，我可以使用CPU运行ONNX模型的推理。

我安装了onnxruntime-gpu以使用GPU运行推理，并遇到了一个错误：

RuntimeException: [ONNXRuntimeError] : 6 : RUNTIME_EXCEPTION : Non-zero status code returned while running Relu node. Name:'FirstStageFeatureExtractor/resnet_v1_101/resnet_v1_101/conv1/Relu' Status Message: /onnxruntime_src/onnxruntime/core/providers/cuda/cuda_call.cc:97 bool onnxruntime::CudaCall(ERRTYPE, const char*, const char*, ERRTYPE, const char*) [with ERRTYPE = cudaError; bool THRW = true] /onnxruntime_src/onnxruntime/core/providers/cuda/cuda_call.cc:91 bool onnxruntime::CudaCall(ERRTYPE, const char*, const char*, ERRTYPE, const char*) [with ERRTYPE = cudaError; bool THRW = true] CUDA failure 2: out of memory ; GPU=0 ; hostname=coincoin; expr=cudaMalloc((void**)&p, size); 
Stacktrace:

Stacktrace:

我是唯一使用GPU的人，这是一个泰坦RTX (24 am的RAM)。该模型运行良好的GPU使用其tensorflow保存的模型版本，10 on的GPU的RAM。

版本如下：

1.6.0

• onnxruntime 1.1.0

• tf2onnx 1.9.2<代码>H 116python 3.6<代码>H 217<代码>H 118Ubuntu18.04<代码>H 219<代码>F 220

Answer 1

根据您的信息和版本，可能有两个解决方案来解决这个问题：

• 1. the信息内存不足，请检查gpu内存是否可用，如果不可用，请设置gpu memory:

。

​

​

config = tf.ConfigProto()                                                                           
config.gpu_options.visible_device_list = "0"                                                        
config.gpu_options.per_process_gpu_memory_fraction = 0.1                                            
set_session(tf.Session(config=config)) 

• 1. downgrade #en1#运行时-gpu，根据您的版本，CUDA 10.0与#en1#运行时匹配-gpu=1.0.0，而不是1.1.0，后者需要cuda 11 https://github.com/Microsoft/onnxruntime/releases/tag/v1.1.0

。