TF lite模型在使用Androids NNAPI时性能较差

Question

我正在小米MI9上使用TFLite模型基准测试工具1对各种tensorflow-lite模型进行基准测试。我注意到，当我在Androids神经网络API上启用推理时，许多模型的性能会变差。

使用NNAPI时，模型表现较差的原因可能是什么？

我的猜测是，太大的模型不能在手机的协处理器上正确执行，必须将数据来回发送到CPU。

Answer 1

最可能的原因是Alex建议的主题，特别是如果您正在观察经过良好测试的标准模型，如Mobilenet。