Tensorflow-Lite -基准工具-不同的结果

Question

我尝试使用TFLite基准工具和移动网络模型，并在微秒内检查最终的inference time，以比较不同的模型。我面临的问题是不同的结果。我还在与减少Android上运行之间的差异相关的文档中找到了这一节。它解释了如何在运行基准之前设置CPU关联，以便在两次运行之间获得一致的结果。目前工作使用Redmi Note 4和One Plus。

1. 请有人解释一下我应该为我的实验设置什么CPU affinity值吗？
2. 我能在网上或Android手机上找到不同手机的亲和力口罩吗？
3. 当我增加--warmup_runs参数的数量时，得到的结果变化不大。有更多的方法可以使我的结果更加一致吗？
4. 安卓手机上的后台进程是否影响了我的inference time，有什么方法可以阻止它们来减少结果的差异吗？

Answer 1

1. 正如医生们所建议的那样，任何价值都是可以的，只要你与一个实验保持一致。需要考虑的一件事是，是使用大内核还是小核心(如果您是big.little体系结构)，通常这两种方法都是好的(它们有不同的缓存大小，等等)。
2. 是的，您通常可以在网上找到这些信息。以http://infocenter.arm.com/help/index.jsp?topic=/com.arm.doc.ddi0515b/CJHBGEBA.html为例。你会想看看你的手机，看看它使用的特定CPU，然后谷歌从那里获得更多信息。
3. 我试过--热身运行= 2000+，通常情况下它非常稳定。较小的模型有更大的差异。对于密集的型号(至少对于特定的设备而言)，你可能想看看这些设备是否过热等等。我还没有在中间层的手机上看到过这种情况，但听说人们有时会把设备放在一个凉爽的区域(风扇、冰箱)。
4. 他们可能会，但这是不可避免的。你能做的最好的就是关闭所有的应用程序并断开与互联网的连接。不过，我个人还没见过他们带来太多的差异。