在哪些数据上评估对象检测模型？(类似的或真实的数据?)

Question

我正在训练一个物体检测模型(SSD300)来检测和分类热图像中的人体姿势。

即使我有超过2k不同的姿态，背景变化不大(我只有5个不同的观点)。

我在这些图像上训练了我的模型(70%用于培训，30%用于验证)。

现在，我想在一个无偏的数据集上评估模型。

是为此保留数据集的图像，还是应该使用真实的数据集?

(一个很好的解决办法是有一套现实生活的训练，但我没有)

我尝试了这两种方法，但正如预期的那样，在类似的图片上进行评估时，我有一个mAP=0.9，而在完全不同的图像上进行评估时，有一个mAP=0.5。

附加问题:当我想向客户显示结果时，mAP是一个相关的度量吗？(例如，如果我告诉他“我的模型有一个mAP=0.7”，客户就不明白了)

精确-召回？(但我必须选择一个姿势分类阈值.)

Answer 1

如果给出与训练相似的数据，这个模型会表现得更好，我认为你应该尝试混合这两个数据集并检查结果。对于客户端，您可以展示这三个结果，并解释它是如何一个伟大的产品。代替mAp，显示一个精确的图表和回忆来解释准确性。