如何优化经过训练的Tensorflow图以提高执行速度？

Question

为了快速推断冻结的Tensorflow图(.pb)，我目前使用的是Tensorflow的CPU。推理速度已经相当不错了，但是(与英特尔的OpenVINO这样的CPU专用工具相比)到目前为止，我还没有可能在运行之前以某种方式优化图形。我对任何一种合适的优化都感兴趣：-特定于设备的优化-特定于CPU的优化-特定于图的优化(融合操作，丢弃节点，...) - ...以及其他一切降低推理所需的时间。

因此，我正在寻找一种在训练后和执行之前优化图形的方法。如前所述，像英特尔的OpenVINO (用于CPU)和NVIDIA的TensorRT (用于GPU)这样的工具就可以做到这一点。我也在使用OpenVINO，但目前正在等待错误修复，所以我想尝试另一种方法。

我考虑过尝试Tensorflow XLA，但我没有使用它的经验。此外，我必须确保要么得到一个冻结的图形(.pb)，要么最终可以转换成一个冻结的图形(例如.h5)。

我将非常感谢您的推荐！

问候

Answer 1

请按照以下步骤操作：

1. 冻结器流动训练模型(frozen_graph.pb) -为此，您可能需要训练有素的模型.pb、检查点和输出节点名称
2. 使用英特尔OpenVINO模型优化器优化您的冻结模型-

输入模型--

_ python3 mo.py

此外，您可能需要input_shape

1. 你将得到.xml & .bin文件作为结果。在benchmark_app的帮助下，您可以检查推理优化。