如何使用Nvidia的张量RT在Jetson TX1上运行预先训练的tensorflow模型？

Question

在Nvidia的博客中，他们介绍了他们的TensorRT如下：

NVIDIA TensorRT™是一种用于生产部署深度学习应用的高性能神经网络推理机。TensorRT可用于快速优化、验证和部署经过训练的神经网络，用于向超级计算机数据中心、嵌入式或汽车产品平台进行推理。

所以我想知道，如果我有一个预先训练过的Tensorflow模型，我能在Jetson TX1中的TensorRT中使用它进行推理吗？

Answer 1

UPDATE (2020.01.03)：现在TensorRT支持TensorFlow 1.X和2.0 (在Trt V6 &7上进行测试:参见本教程：https://docs.nvidia.com/deeplearning/frameworks/tf-trt-user-guide/index.html)。

基于Nvidia论坛的这个职位，您现在似乎可以使用TensorRT进行caffemodel而不是tensorflow模型的推理。除了tensorRT，在tx1上构建tensorflow是另一个问题(参见此处：https://github.com/ugv-tracking/cfnet)。

Answer 2

在JetPack 3.1中，NVIDIA还增加了对Tensorflow的TensorRT支持。因此，经过训练的TF模型可以直接部署在JetsonTX1/TK1/TX2中。