OpenVino性能-神经棒对CPU

Question

我看到我的桌面CPU和在神经计算棒2 VPU上运行时的推断性能有很大的不同--在VPU上慢了近500 my。这是一句花时间最多、差别最大的一行：

result = exec_net.infer( inputs={input_layer_ir: blob} )

我的桌面是我的游戏机，有一个漂亮的快速英特尔CPU。也就是说，这是VPU和CPU之间预期的数量级差吗？

CPU的速度非常快，就像.07秒，而VPU就在.5附近。

这是开放动物园样本中的道路分割模型。

Answer 1

Intel神经计算棒2 (NCS 2)是一种USB接口，它提供了对神经网络功能的访问，而不需要昂贵的大型硬件。这是一个即插即用的设备，所以你已经准备好马上开始原型制作.

在TFLOPS意义上，NCS 2的性能仍然比著名的CPU或GPU低100倍。这种行为是预期的，所以不要依赖它作为外部设备来取代CPU插件。