用trtexec进行TensorRT推理

Question

我目前正在Windows上使用TensorRT来评估以ONNX格式提供的模型的可能性能(包括计算性能和模型性能)。因此，我也一直在使用--fp16选项。现在，我想知道量化模型是否仍然表现良好，或者量化对模型性能的负面影响更大。要做到这一点，我想对一堆测试图像进行推断。我已经能够将它们转换为可以用trtexec.exe加载的二进制blob。但是，我没有找到以二进制形式保存结果的选项。这很烦人，因为这是一种Image2Image方法，我不想为此生成一个..json结果文件。此外，使用--exportOutput-option计算的json结果只包含一个结果。

是否有导出二进制结果的选项(比如读取二进制输入)？如果没有，Windows上最简单的方法是什么？

Answer 1

按照这个博客在Ubuntu上安装带有命令行包装器的TensorRT :trtexec。https://medium.com/@moshiur.faisal01/install-tensorrt-with-command-line-wrapper-trtexec-on-ununtu-20-04-lts-3e44f4f36a2b

Windows并不正式支持TensorRT。