Torchscript与TensorRT的实时推理

Question

我已经训练了一个对象检测模型，用于生产实时应用程序.我有以下两个选择。有人能建议什么是最好的方式运行Jetson的最佳性能推断吗？任何其他建议也是受欢迎的。

1. 将模型转换为ONXX格式并与TensorRT一起使用
2. 将模型保存为Torchscript并在C++中运行推理

Answer 1

在Jetson硬件上，我的经验是使用TensorRT绝对更快。您可以使用来自NVIDIA的TensorRT将ONNX模型转换为ONNXParser。要获得最佳性能，可以选择使用混合精度。如何将ONNX转换为TensorRT将在这里解释：TensorRT。第3.2.5节用于python绑定，第2.2.5节用于C++绑定。

Answer 2

我对Jetson没有任何经验，但是Jetson的速度比ONNX或Py手电筒略快一些。TorchScript与pyTorch没有任何区别。