我如何在Android的Tensorflow Lite上使用HAL版本1.2？

Question

我有一个量化的TensorflowLite模型，我正在加载到运行Android11的Pixel 3上。我使用Tensorflow Lite 2.5构建了这个模型，我使用的是每晚为Android构建的Tensorflow。

我正在使用默认提供的NNAPI委托初始化TFLite解释器。

但是，当我加载模型时，我从NNAPI中得到以下错误：

/OperationsUtils(16219): NN_RET_CHECK failed (frameworks/ml/nn/common/OperationsUtils.cpp:111): Operation QUANTIZE with inputs {TENSOR_FLOAT32} and outputs {TENSOR_QUANT8_ASYMM} is only supported since HAL version 1.2 (validating using HAL version 1.0)
E/Utils   (16219): Validation failed for operation QUANTIZE
E/OperationsUtils(16219): NN_RET_CHECK failed (frameworks/ml/nn/common/OperationsUtils.cpp:111): Operation QUANTIZE with inputs {TENSOR_FLOAT32} and outputs {TENSOR_QUANT8_ASYMM} is only supported since HAL version 1.2 (validating using HAL version 1.0)

Android 11应该支持NNAPI 1.2。TensorFlow或Android是否缺少一些参数来支持NNAPI上的更高版本？

作为参考，下面是我在gradle文件中的依赖项：

dependencies {
    // snip
    implementation 'org.tensorflow:tensorflow-lite:0.0.0-nightly-SNAPSHOT'
    implementation 'org.tensorflow:tensorflow-lite-gpu:0.0.0-nightly-SNAPSHOT'
}

Answer 1

事实证明，这些错误是来自NNAPI的更多警告。Tensorflow Lite正在为所有可用设备创建模型，NNAPI根据操作选择最佳的模型。添加详细的登录，所有这些的最终结果是，NNAPI决定，唯一能够处理模型的设备是qti-默认设备。这些错误来自于油漆盒和nnapi参考设备，这些设备在模型的执行过程中并没有被使用。

我认为这些消息是在NNAPI上执行模型失败的原因，但是还有其他错误。

所以这个问题的答案是TensorFlow Lite和NNAPI在可能的情况下选择支持最好的设备，尽管有可怕的错误消息。