可移动的Deeplab xception (tensorflow lite)

Question

我正在检查使用预先训练的deeplab 外侵模型执行图像分割的选项。

冻结的型号大小是~161 my，当我把它转换成tflite后，大小是~160 my，在我的PC cpu上运行这个模型需要大约25秒。

这是“期望”，还是有什么我可以做得更好？

向tflite的转换如下：

tflite_convert \
--graph_def_file="deeplabv3_pascal_trainval/frozen_inference_graph.pb" \
--output_file="deeplab_xception_pascal.tflite" \
--output_format=TFLITE \
--input_shape=1,513,513,3 \
--input_arrays="sub_7" \
--output_arrays="ArgMax" \
--inference_type=FLOAT \
--allow_custom_ops

谢谢!

Answer 1

根据zoo.md的说法，具有3个等级的xception65_coco_voc_trainval大约需要223秒。冻结的图形只有一个等级，所以~25秒听起来对我来说是正确的。

为了加快对TfLite的推断，我建议使用gpu委托，但是当您在PC上运行时，您需要找到一个更小的模型。或者尝试一种基于移动网络的模型？edgetpu模型将在没有edgetpu的tflite中运行，并且应该非常快，尽管这些模型是关于城市景观的。