gpu代表、tensorflow lite的nnapi在android手机上的性能基本相同。

Question

我使用以下代码更改电话上的委托(G3226)

try {     
      if(delegateNum == 1){
        GpuDelegate delegate = new GpuDelegate();
        Interpreter.Options options = (new Interpreter.Options()).addDelegate(delegate);
        d.tfLite = new Interpreter(loadModelFile(assetManager, modelFilename), options);
      }else if(delegateNum == 2){
        NnApiDelegate delegate = new NnApiDelegate();
        Interpreter.Options options = (new Interpreter.Options()).addDelegate(delegate);
        d.tfLite = new Interpreter(loadModelFile(assetManager, modelFilename), options);
      }else{
        d.tfLite = new Interpreter(loadModelFile(assetManager, modelFilename));
      }      

    } catch (Exception e) {
      throw new RuntimeException(e);
    }

但是表演几乎是一样的，不知道会发生什么。

• 电话G3226
• 'org.tensorflow:tensorflow-lite:0.0.0-nightly‘实现'org.tensorflow:tensorflow-lite-gpu:0.0.0-nightly’实现'org.tensorflow:tensorflow-lite-support:0.0.0-nightly‘
• 模型链接，它是一个量化的SSD模型，用于对象检测(精确度不高)

可能的原因我猜：

1. 这种型号太小了，不够复杂，不足以让gpu或nnapi炫耀。
2. 我手机上的gpu或nnapi都是wek。
3. 我的手机不支持gpu或nnapi，所以它们会回到cpu。

如果是3，我怎样才能检查我的手机支持gpu或nnapi ?谢谢。

Answer 1

有几件事：

1. 量化的SSD模型可能已经过时了，请看这些以获得更好的精度.不过，您必须将它们与这些指示进行转换，才能获得.tflite版本。
2. SSD模型有一个大的后处理步骤(NMS)，不会被加速.因此，SSD模型的区别通常小于用于分类的简单模型(如MobileNet )。
3. NNAPI只在Android 8.1或更高版本上工作--对你的手机来说是这样吗？而且，NNAPI可能不会在所有体系结构上加速，因此存在这种情况。
4. GPU委托不支持量化模型(目前)。