如果我尝试在android 8.1下使用GPU代理，会发生什么情况

Question

下面是NNAPI的系统架构。enter image description here

NNAPI在Android8.1(level27接口)或更高版本上可用。如果我尝试在android 8.1下使用GPU委派，会发生什么？

Answer 1

Tensorflow的GPU代理没有使用NNAPI (参见TFLite documentation)。

对Shree的回答有几处更正。

• NNAPI将委派给图形处理器或任何其他可用的设备，即使在Android 8.1中也是如此。根据NNAPI的可用性，当您想要寻址一组特定的设备时，将使用implementations.
• The ANeuralNetworksCompilation_createForDevices() API，如果您使用ANeuralNetworksCompilation_create()，则设备选择将由NNAPI完成。在两个不同的(createForDevices或
• 之间进行选择)由委托创建过程中的acceleratorName选项控制。

Answer 2

NNAPI可在所有运行Android 8.1 (API级别27)或更高版本的Android设备上使用

只有CPU fallback在Oreo MR1(8.1.0)上可用

请参考以下关于Pixel2设备(Android8.1)上使用NNAPI的TFLite演示应用程序性能的讨论- https://github.com/tensorflow/tensorflow/issues/19317 -这声称性能没有提高，因为没有GPU和DSP驱动程序。因此，当NNAPI被调用时，它将回退到CPU。

由于只有API级别29 (DSP Android 10)，所以NNAPI支持ANeuralNetworksCompilation_createForDevices() -这将为一组指定的设备(GPU和DSP)创建一个ANeuralNetworksCompilation来编译给定的模型。