神经计算棒2:我用NCS2做了所有的处理，但是它太慢了

Question

最近，我给了我的教授神经计算棒2，

经过大量的试验和错误，我已经配置了环境。

我从英特尔官方网站上获得了所有信息。

sudo python3 mo_tf.py 
\ --input_model /home/leehanbeen/PycharmProjects/TypeClassifier/inference_graph_type.pb 
\ --input_shape "[1, 64, 128, 3]" --input "input"

我已经成功地通过model_optimizer将pb文件转换为IR (.xml，.bin)文件，并希望将其应用于树莓派。

import tensorflow as tf
import cv2
import numpy as np
BIN_PATH = '/home/pi/Downloads/inference_graph_type.bin'
XML_PATH = '/home/pi/Downloads/inference_graph_type.xml'
IMAGE_PATH = '/home/pi/Downloads/plate(110).jpg_2.jpg' #naming miss.. :(
net = cv2.dnn.readNet(XML_PATH, BIN_PATH)
net.setPreferableTarget(cv2.dnn.DNN_TARGET_MYRIAD)
frame = cv2.imread(IMAGE_PATH)
frame = cv2.resize(frame, (128, 64))
blob = cv2.dnn.blobFromImage(frame, size=(128, 64), ddepth=cv2.CV_8U)
net.setInput(blob)
out = net.forward()
out = out.reshape(-1)
print(out)
print(np.max(out))
print(np.argmax(out))

这个源码运行得很好，但是太慢了。当我给出(128，64，3)图像作为模型的输入时，推理时间是4.7秒

[0.0128479 0.2097168 0.76416016 0.00606918 0.00246811 0.00198746 0.00129604 0.00117588]
0.76416016
2

当我给出一个比这个图像更小的图像( 40，40，1)时，时间是相当慢的。

我遵循了所有程序以及英特尔官方主页上的说明。为什么推理时间如此之慢？这只是一个使用CNN的非常简单的分类模型

Answer 1

已解决。在OpenCV中不使用IE作为后端，而是直接使用IE，推理时间从4.7秒缩短到0.01秒。但仍然存在一个问题。对于彩色图像(128，64)的推断是正常的，而灰度图像仍然在无限时间的末尾结束。

我已经在我的GITHUB上写了相关的源代码

它是韩语的，但是你只能在底部看到源码。