为什么量化的TensorFlow Lite模型在延迟方面表现不佳？

Question

我目前正在测试用TensorFlow Lite转换的U-Net网络推理的延迟时间。在一个分段问题上，我正在测试具有相同结构的三个NN (我正在用Windows操作系统在我的笔记本上测试它们)：

1. 第一个模型: TensorFlow模型(没有优化，使用Keras接口创建)。
2. 第二个模型:使用TFLite优化的TensorFlow模型(使用Python进行转换并不进行量化)。这实际上是第一个转变的模型。
3. 第三个模型:使用TensorFlow优化和量化的TFLite模型(使用Python进行转换，用tensorflow.lite.Optimize.DEFAULT进行量化)。这实际上是第一个转变的模型。

实际上，第二个模型(使用TFLite优化)将第一个模型(普通TF模型)的时间性能提高了x3的一倍(快三倍)。然而，第三种模型(TFLite &量子化)在时间上性能最差.它甚至比第一个模型(普通TF模型)慢。

为什么量化模型是最慢的？

Answer 1

这取决于您的模型运行的内核。

通常，TFLite更适合在移动设备上运行。因此，在您的例子中，可能是quantized+desktop，它使用的是一些op的引用实现。

进一步检查的一种方法是使用基准工具运行--enable_op_profiling=true。

它将使用虚拟数据运行您的模型，并对操作进行分析，然后向您显示类似于这的摘要。

如果您看到了一些问题，那么您可以提交一个包含详细信息和如何重现问题的github问题，并且团队可以调试性能问题。