在英特尔处理器上，Tflite Quant推理比TFlite float32慢

Question

我使用默认优化(Float32)设置将网络转换为TFlite，其推理速度约为25fps。当我转换为TFlite INT8量化时，它的推理速度在英特尔8核英特尔酷睿i9 2.3 GHz上约为2 fps。这在CPU上是预期的吗？有人能解释一下是什么导致INT8推理速度慢吗？

Answer 1

你能提供该模型的更多细节吗？

可以肯定的是，量化模型比float32模型更小。

对于在移动CPU上部署，通常量化模型可能会更快。但是，英特尔台式机/笔记本电脑CPU可能无法保证这一点。