tflite模型在CPU和NNAPI上输出不同的预测

Question

我在Ubuntu 18.04机器上训练并量化了Tensorflow模型，并将其转换为tflite格式。然后我将其部署到配备了NPU加速器、tflite_runtime和NNAPI的Linux Yocto板上。我注意到，当使用PC上的CPU和电路板上的NPU+NNAPI进行推理时，相同的tflite模型会输出不同的预测。这些预测通常是相似的，但在某些情况下，它们完全不同。我尝试在电路板上禁用NNAPI，并使用CPU进行推断，结果与PC CPU上的结果相同。所以我认为问题出在NNAPI上。然而，我不知道为什么会发生这种情况。有没有办法防止它，或者在训练过程中使网络更加健壮？

Answer 1

菲里昂

NNAPI团队也有兴趣了解更多信息。

小的变化是可以预期的，但完全不应该是完全不同的结果。

你在不同的设备上尝试过吗？你看到同样的变化了吗？

您提到了Linux Yocto构建。您是在Yocto上使用Android运行测试，还是使用NNAPI的Linux构建？