Tensorflow SDK与MLKit SDK

Question

我们有一个奇怪的问题需要帮助解决。这里有一个场景:我们有一个使用Tensorflow SDK的本地android应用程序和一个能识别不同鱼类种类的tflite模型。这个解决方案在从摄像机获取输入时有不同的结果，但是当使用相机滚动的图片时，它工作得很好，并且为不同的鱼种提供稳定的概率。

我们也有一个本地的iOS应用程序，使用谷歌的MLKit与相同的tensorflow模型，这是非常好的表现，但在一些图片上，它完全没有目标。

如果我们从摄像头上加载相同的图片，并通过安卓应用程序和iOS应用程序的解释器运行，我们得到的结果完全不同，但只在某些物种上。

有谁能解释为什么我们可以在两个应用程序和相同的图片中使用相同的tflite模型得到如此不同的结果？

MLKit SDK和Tensorflow SDK之间是否有差异可以导致这种行为？

向你问好，克里斯蒂安

Answer 1

可能有几个原因。

1. TFLite运行时版本。ML Kit自定义模型还在外壳下使用TFLite，您可以在Pod依赖项中找到TFLite运行时版本。确保在测试中使用相同的TFLite版本。
2. 图像处理。发送给ML或TFLite SDK的图像总是比模型输入大得多，因此在运行模型之前将执行调整大小甚至图像旋转。不同的平台可以使用不同的库进行图像处理，结果可能略有不同。但细微的差异可能会导致模型输出不同的结果。这可能是由于模型对某些物种来说有点不稳定。您可以尝试发送与模型所期望的图像格式/大小/方向完全相同的图像，这样就不会在两个平台上触发图像处理，并查看它是否有用。