使用of运行时，用不同的硬件加速器执行NN模型图的不同操作

Question

我试图通过OnnxRuntime利用NNAPI在Android设备上进行NN模型推断。基于youtube视频：https://www.youtube.com/watch?v=Ij5MoUnLQ0E，可以在该模型中为运营商指定硬件加速器。任何关于如何进行这方面的指导都将不胜感激。

Answer 1

在NNAPI中，可以发现存在哪些硬件加速器，并为运行模型选择特定的加速器。

如果应用程序指定了多个加速器，则NNAPI运行时根据每个加速器的特性及其支持的层对工作进行分区。

一个程序不可能一层一层地做出这个决定。如果这是你所需要的，你可能不得不把你的模型分解成子模型。

有关详细信息，请参阅NNAPI文档中的设备发现和分配部分。

我不熟悉OnnxRuntime。我不知道这个包是否公开了这个功能。