Observation-Centric SORT

Observation-Centric SORT: Rethinking SORT for Robust Multi-Object Tracking

• paper https://arxiv.org/abs/2203.14360
• code https://github.com/noahcao/OC_SORT

Abstract

• Kalman fileter (KF) 假设目标是线性运动（刚体），但是在遮挡和长时间的线性运动下非常不准确。由于会信任这种线性运动的prior，在遮挡的时候会累计误差，从而出现运动方向的方差很大。
• 本文Observation-Centric SORT (OC-SORT) 在KF基础上，利用detector计算遮挡时虚拟轨迹，修正遮挡产生的累计误差。在遮挡和非线性运动下，取得了2022年的SOTA。

Related Works

Motion Models

• KF 按照预测-更新循环的递归贝叶斯滤波器

Multi-object Tracking

• SORT
• DeepSORT
• Transformer: 性能低于tracking-by-detection

Contributions

• Estimation-Centric 变成 Observation-Centric 降低KF的误差
  • OOS（Observation-centric Online Smoothing）：减少KF带来的累积误差
  • OCM（Observation-centric Momentum）：在代价矩阵中加入轨迹的方向一致性，更好地实现匹配
  • OCR（Observation-centric Recovery）：恢复由于遮挡造成的跟丢问题

Methodology

Overview

image-20230802105928151

• KF固有局限性（SORT limitations）
  • Sensitive to State Noise
  • Temporal Error Magnification
  • Estimation-Centric

Observation-centric Re-Update (ORU)

• WHY
  • 在track重激活（本来track，由于遮挡，没有了track，后来没被遮挡又被track）会由于时间累计误差放大，KF任然会lost该目标
• HOW
  • 提出ORU，针对重激活，利用遮挡untrack这段时间的检测更新KF参数预测虚拟轨迹，降低累计误差。
  • ORT作为predict-update独立分支，只对re-activate触发，其它情况不用

  

  image-20230802111220560

  

  image-20230802120952100

Observation-Centric Momentum (OCM)

• WHY
  • 当t很小，速度噪声很明显
  • 当t很大，方向估计噪声很明显（因为时间误差放大和线性运动假设失效）
  • 当时间间隔t很短，我们近似运动是线性的，而线性运动的假设要求运动方向的连续性
• HOW
  • 提出观察来降低运动方向计算噪声，同时提出连续项loss增加关联

  

  image-20230802115846816

  • t需要trade-off, 增加t可以降低noise，但是需要满足线性运动时间短假设

  

  image-20230802120419940

  

  image-20230802121101083

Observation-Centric Recovery (OCR)

• 针对目标停止或者短时间遮挡情况，在正常association stage之后，增加第二关联阶段，对没有匹配的track和detection进行关联

image-20230802121123198

Experiments

Code

image-20230802121600293

image-20230802121643232

Result

image-20230802120440375

image-20230802120109068

Conclusions

The gain is especially significant for multi-object tracking under occlusion and non-linear object motion.

References

• Deep OC-SORT: Multi-Pedestrian Tracking by Adaptive Re-Identification
  • https://arxiv.org/abs/2302.11813
  • https://github.com/GerardMaggiolino/Deep-OC-SORT

image-20230802135723292