加速Keras模型的推理

Question

我有一个Keras模型，它在Raspberry Pi (用相机)上进行推理。覆盆子Pi有一个非常慢的CPU (1.2.GHz)和没有CUDA GPU，所以model.predict()阶段需要很长时间(~20秒)。我正在寻找办法尽可能地减少这一点。我试过：

• 超过CPU (+ 200 MhZ)并获得几秒的额外性能。
• 使用浮标16而不是32。
• 尽可能减少图像输入的大小。

，我还能做些什么来提高推理的速度吗？有没有一种方法可以简化model.h5并降低准确度？我已经在简单的模型上取得了成功，但是对于这个项目，我需要依赖现有的模型，这样我就不能从头开始训练了。

Answer 1

VGG16 / VGG19体系结构由于具有大量的参数，所以速度非常慢。检查这个答案。

在进行任何其他优化之前，请尝试使用更简单的网络架构。

谷歌的MobileNet似乎是一个很好的选择，因为它是在Keras上实现，它是专为更有限的设备设计的。

如果不能使用不同的网络，则可以通过剪枝压缩网络。这个博客 post专门使用Keras进行剪枝。

Answer 2

也许OpenVINO会帮上忙。OpenVINO是一个用于网络推理的开源工具包，它通过图形剪枝和合并一些操作来优化推理性能。臂架由折叠式存储库提供。

下面是关于如何构建一个ARM插件来在Raspberry上运行使用说明的使用说明。

免责声明:我在OpenVINO工作。