"Tensorflow + NNAPI“在三星Galaxy S21上运行非常慢

Question

当同时使用tensor-flow lite和NNAPI时，tensor-flow lite是唯一运行缓慢的设备。以前有人遇到过这个问题吗？

背景

我使用了tensor-flow lite和NNAPI，并在不同的安卓设备上构建了我的应用程序。Samsung Galaxy S21非常慢(0.5fps)；所有其他设备(包括Samsung Galaxy S20)都非常快(12-20fps)。

不使用NNAPI，使用GPU/CPU委托，Samsung Galaxy S21可以以(9-10 fps)的速度运行。

Implementation:

我将解释器设置为使用NNAPI：

TfLiteInterpreterOptionsSetUseNNAPI(m_options, true);

然后使用以下方法调用解释器：

TfLiteInterpreterInvoke(m_interpreter);

结果：

我在不同的安卓设备上加盖了TfLiteInterpreterInvoke()的时间戳。以下是研究结果：

• 三星Galaxy S21：860 ms；
• 三星Galaxy S20: 10 ms；
• 任何其他安卓设备: 10-30 ms；

f 227

轮廓跟踪

然后，我使用Android跟踪Samsung Galaxy S21中CPU的使用情况。

ANeuralNetworksExecution_compute()                    --- 851 ms
    compute()                                         --- 851 ms
       ...
          [kernel.kallsysms]+ 0xffffffc---------().   --- 851 ms 
          [kernel.kallsysms]+ 0xffffffc---------().   --- 851 ms 
          [kernel.kallsysms]+ 0xffffffc---------().   --- 851 ms
          .....

看起来大部分时间都花在GPU内核上了。这是否意味着S21 GPU与NNAPI和tensorflow不兼容？

Answer 1

你能试一试adb shell setprop debug.nn.vlog 1，重新运行测试和共享逻辑猫吗？