多目标跟踪(MOT)评估的最佳指标是什么?为什么？

Question

我想比较我自己的数据集上的多个计算机视觉多目标跟踪(MOT)方法，所以首先我想为这个任务选择最佳的度量标准。我在科学文献中进行了一些研究，得出的结论是，有三个主要的度量集：

1. 来自“基于静态人体部分检测的多个部分遮挡人的跟踪”的度量
2. 明确的MOT度量
3. ID分数

因此，我想知道我应该最重视上述指标中的哪一个？

我想问，是否有人遇到过类似的问题，并在这个问题上有任何想法，可以证明并帮助我为上述任务选择最佳指标。

Answer 1

我知道这很古老，但我看到没有人提到HOTA (https://arxiv.org/pdf/2009.07736.pdf)。这一指标已经成为多目标跟踪的新标准，正如最新的SOTA跟踪研究：https://arxiv.org/abs/2202.13514和https://arxiv.org/pdf/2110.06864.pdf所显示的那样。

使用不是MOTA和IDF1的度量背后的原因是，它们分别过分强调检测和关联。HOTA显式地度量这两种类型的错误，并以平衡的方式组合这些错误。HOTA还包括测量跟踪结果的定位精度，这在MOTA或IDF1中都不存在。

Answer 2

您可以参考MOT挑战中使用的指标.

这是MOT 2020挑战的结果，他们包括了这里使用的指标：https://motchallenge.net/results/MOT20/

根据MOT 20纸，他们在第4.1.7节(第7页)说：

正如我们在这一节中所看到的，有一些合理的业绩衡量标准来评估跟踪系统的质量，这使得将评估减少到一个数字是相当困难的。然而，为了给出每个跟踪器与其竞争对手相比表现如何的直觉，我们计算并显示每个跟踪器的平均排名，根据每个指标对所有跟踪器进行排序，然后在所有性能度量中进行平均排序。

Answer 3

您所选择的指标与您在多个对象跟踪之后的目标相关:如果您的目标感兴趣地跟踪场景中的人员，您应该将度量ID切换得非常低，等等。

您应该找到与您的目标相关的指标。