计算机视觉-找出摄像机在移动时指向的角度？

Question

我有时会在我的摩托车头盔上装上一个摄像机，然后骑车四处走动。显然我会稍微移动一下我的头，绕过角落，等等。这是一个sample, edited video to give you an idea。除了原始的原件都将在一个序列中(没有裁剪)。

给出一个这样的视频，是否有可能找出/猜测每个帧相对于前一帧指向哪个方向，从而计算出每个帧指向全局哪个方向？

我认为这应该可以使用特征检测(SIFT?)和/或在图像稳定中使用的相同类型的东西？但是我没有计算机视觉的经验，所以我不确定这是不可能的，以前已经做过了，或者是否已经有了一个库。因此就有了这个问题。

我有很多Python的经验，也有一些gstreamer和C的经验。开源解决方案更可取，“在linux上运行”是必需的。我很想自己编写代码，但我不知道是否已经完成了任何数学/算法(如果有，是什么？)

Answer 1

如果你不想从运动算法中实现一个完整的结构(这是一个很大的任务)，这里有一个我可以尝试的想法：

首先跟踪从一帧到下一帧的兴趣点。SIFT或SURF可能是一个很好的开始。大多数兴趣点不会移动很远，一旦您处理了前两帧，您就可以很好地估计每个兴趣点在下一帧中的位置，所以这应该是可能的。

一旦你有了两帧之间的特征对应，每个特征点的移动(大约)是两个分量的总和:一个远离消失点的分量(即，自行车的运动方向)和一个每个点相同的分量(相机的方向改变)。

​

​

从数学上讲，这意味着点p在时间t1的位置是：

​

​

其中v是消失点，d是远离图像中消失点的移动速度(取决于物体到观察者的距离和自行车的速度)，m是相机的运动。这是2*n个方程和n个点的4+n未知数，这意味着如果你有4个或更多的点，你可以找到一个(近似)解。