光流运动结构

Question

假设我有一个录音机的录影带。我想用运动技术的结构来构造记录场景的点云。首先，我需要追踪一些要点。

哪种算法能产生更好的结果？使用稀疏光流(Kanade-Lucas-Tomasi跟踪器)或密集光流(Farneback)？我做了一些实验，但不能真正做决定。他们每个人都有自己的长处和弱点。

最终的目标是获取现场记录的车辆的点云。通过使用稀疏光流，我可以跟踪车辆的有趣点。但这将是相当不可预测的。一种解决方案是在图像中建立某种网格，并迫使跟踪器跟踪每个网格中的一个有趣点。但我觉得这会很难。

通过使用密集的流，我可以得到每个像素的运动，但问题是，它不能真正检测只有很少运动的汽车的运动。此外，我怀疑该算法产生的每个像素的流量是否会如此准确。另外，我相信我只能得到两个帧之间的像素移动(不像使用稀疏光流，在稀疏光流中，我可以得到同一有趣点的多个坐标，随着时间的推移t)。

Answer 1

您的标题表示SFM，其中包括姿态估计，

跟踪只是第一步(匹配)，如果你想要视频中的点云(非常困难的任务)，我首先想到的是捆绑调整，它也适用于MVE，

然而，对于视频，我们可以做得更多，因为帧之间太近了，我们可以使用更快的算法，比如光流、/than匹配SIFT/并从中提取F矩阵，然后：

E= 1/K *F*K

回到你最初的问题，什么是更好的：

1)密集光流，或

( 2)稀疏。

很明显你在离线工作，所以速度不重要，但我推荐稀疏的，

更新

对于三维重建，密度看起来可能更有吸引力，但是正如你说的那样，它很少健壮，所以你可以使用稀疏，但是添加更多的点，你想让它半稠密，

我不能说出几种可以做到这一点的方法，比如mono-slam或orb-slam。

最终更新

正如我前面所写的那样，使用半稠密，但是SFM总是假设静态对象(没有运动)，否则它永远不会工作。

在实际应用中，图像中的所有像素都是从未用于三维重建的(不是直接的方法)，而SIFT一直被誉为特征检测和匹配的方法，。最近，所有像素都被用于不同类型的校准，例如：直接稀疏计量法和LSD (称为Direct )。