OpenVino优化模型在推断时忽略了很少的标签

Question

系统信息

• OpenVINO => 2022.1
• 操作系统/平台=>Intel(R) Core(TM) i5-9400FCPU@ 2.90GHz/ Windows 10 64位

我训练了以下YoloV5模型：

• Model Size: Large
• Labels: ['mango', 'apple', 'milk', 'orange', 'grapes']。
• batch-size: 4
• Img-Size: 512

当我在经过训练的YoloV5模型上进行推理时，检测结果是下降的，它能够检测到所有5个标签。平均检测置信度在90%左右。

然后，我使用OpenVino优化了模型：

• Quantization: FP16, FP32

但是转换后的模型只检测mango, apple, and grapes，完全忽略其余的标签。

我尝试过的事情：

• 对不同批量的Yolov5模型进行再培训.
• 在转换为OpenVino时尝试了不同的量化。
• 尝试了不同(以前)版本的OpenVino，如2020.4。

我以前在训练其他模型的时候也遇到过类似的问题，但是永远找不到解决办法，甚至找不到原因。还有其他人面临过类似的问题吗？

如果有人能指导我解决这个问题，那就太理想了。其他的答案，也解释了问题的潜在原因，也是欢迎的！

Answer 1

将模型转换为较小的精度有其优点和缺点。推断时间更快，但权衡却是准确的。

如果您的用例涉及需要精确的临床结果，则不建议使用较小的精度，因为您需要以较低的精度承受。同时，如果您的用例需要快速而不精确，那么更小的精度(FP16/INT8 8)是合适的。

您应该根据您的用例和硬件仔细地进行选择正确的精度。这可能会帮助您进一步理解。