如何将TRT优化模型转换为保存模型？

Question

我想将TRT优化的冻结模型转换为tensorflow服务的保存模型。是否有任何建议或来源可供分享？

或者有没有其他方法在tensorflow服务中部署TRT优化模型？

谢谢。

Answer 1

假设您有一个TRT优化模型(即，模型已经在UFF中表示)，您可以简单地遵循这里概述的步骤：topics。请特别注意第3.3和3.4节，因为在这些部分中，您实际上构建了TRT引擎，然后将其保存到一个文件中供以后使用。从那时起，您只需重新使用序列化引擎(也就是。一个计划文件)来进行推理。

基本上，工作流程如下所示：

1. 在TensorFlow中建立/训练模型。
2. 冻结模型(您得到一个protobuf表示)。
3. 将模型转换为UFF，以便TensorRT能够理解它。
4. 使用UFF表示来构建TensorRT引擎。
5. 序列化引擎并将其保存到计划文件中。

一旦完成了这些步骤(在我提供的链接中应该有足够的示例代码)，您就可以加载计划文件，并一次又一次地使用它进行推理操作。

如果您仍然被困住了，这里默认安装了一个很好的示例：/usr/src/tensorrt/samples/python/end_to_end_tensorflow_mnist。您应该能够使用该示例来查看如何获得UFF格式。然后，您可以将其与我提供的链接中的示例代码结合起来。