Tensorrt python API设置批处理大小

Question

我想在构建TensorRT引擎时设置批处理大小。

我使用的是TensorRT 7和python API。我正在转换一个onnx格式的ResNet50模型。

Answer 1

我无法在python API中做到这一点。但是，我使用了tensorrt默认附带的trtexec工具。该工具将onnx模型转换为tensorrt引擎。

要转换模型，请使用以下命令：

trtexec --explicitBatch --onnx=model.onnx --minShapes=input:min_batchxsample_size --maxShapes=input:max_batchxsample_size --optShapes=input:opt_batchxsample_size --saveEngine=model.engine

有关trtexec的更多信息，请使用此GitHub page。