使用NVIDIA TensorRT推理引擎运行Tensorflow

Question

我想使用NVIDIA TensorRT来运行我的Tensorflow模型。目前，TensorRT支持Caffe prototxt网络描述符文件。

我找不到将Tensorflow模型转换为Caffe模型的源代码。有什么变通方法吗？

Answer 1

TensorRT 3.0支持通过其UFF (通用框架格式)导入/转换TensorFlow图形。某些层实现缺失，需要通过IPlugin接口进行自定义实现。

以前的版本不支持TensorFlow模型/检查点的本机导入。

您还可以做的是将层/网络描述导出为您自己的中间格式(如文本文件)，然后使用TensorRT C++应用编程接口构建用于推理的图形。您必须单独导出卷积权重/偏差。一定要注意权重格式- TensorFlow使用NHWC，而TensorRT使用NCHW。对于权重，TF使用RSCK (filter_height，filter_width，input_depth，output_depth)，TensorRT使用KCRS。

有关张量格式的扩展讨论，请参阅此白皮书：https://arxiv.org/abs/1410.0759

此外，此链接还包含有用的相关信息：https://www.tensorflow.org/versions/master/extend/tool_developers/

Answer 2

由于新的TensorRT 3添加了对TensorFlow的支持，因此目前不需要解决方法。