如何识别模型在目标检测方面表现不佳的帧？

Question

我知道有像精确度和召回率这样的指标来评估模型在对象检测方面的表现。

然而，有没有什么算法可以确定模型在任何帧上的表现有多好或多差？例如，是否可以为数据集中的每个帧分配一个权重，以指示模型在该帧上的表现如何？

我觉得这将使训练更有针对性，因为我可以为每一帧分配一个概率，以便在下一批中选择它，有点像AdaBoost，但使用CNN进行目标检测。这应该会使模型在性能较差的帧上进行更多的训练，从而提高模型的性能。

Answer 1

由于您实际上是在寻找一个通用的“伪代码”，下面是一个可以在Keras中工作的脚本：

poor_loss_threshold = 0.5
poorly_predicted = []

for x_val, y_val in data:
    loss = model.evaluate(x_val, y_val)

    if loss > poor_threshold:
        poorly_predicted.append(x_val)

这适用于每个图像的一个或多个“帧”，只要你迭代地对数据进行拟合/推断(每个循环一次)-这样你就可以根据你定义的‘贫穷’指标运行中间检查。然后，您可以迭代地检查每个性能不佳的帧：

for x in poorly_predicted:
   plt.imshow(x) # import matplotlib.pyplot as plt