摄像机姿态估计

Question

我试图从零开始编写一个程序，可以估计相机的姿态。我对任何编程语言都是开放的，并且使用内置的函数/方法进行特征检测.

我一直在探索各种估计姿势的方法，如SLAM，PTAM，DTAM等。但我不需要追踪和测绘，我只需要摆姿势。

你们中有谁能提出帮助我的方法或资源吗？我知道什么是姿势，以及如何估计它的粗略想法，但我找不到任何资源来解释它是如何做的。

我想从一个录像开始，从视频中提取特征，然后利用这些特征和几何图形来估计姿势。

(请原谅我的天真，我不是一个电脑视觉的人，我对这一切相当陌生)

Answer 1

一般来说，你只能提取相机的姿态相对于给定的参考帧。估计相机的一个视图到另一个视图之间的相对姿态是很常见的。由基本矩阵 (google )给出了两个不同摄像机对同一场景的两个视图之间最普遍的关系。您可以从图像之间的对应关系中计算基本矩阵。例如，看看Matlab的实现：http://www.mathworks.com/help/vision/ref/estimatefundamentalmatrix.html在计算完这个之后，可以使用基本矩阵的分解来得到相机之间的相对位置。(看这里，例如：http://www.daesik80.com/matlabfns/function/DecompPMatQR.m)。

你可以做一个类似的过程，如果你有一个校准的相机，然后你需要基本矩阵，而不是原语。

Answer 2

为了计算相机的姿态，您需要有一个参考帧，它是由图像中的一些已知点给出的。例如，这些已知的点来自校准模式，但也可以是图像中已知的一些地标(例如，吉泽金字塔底部的4个角落)。

根据摄像机看到的已知地标(即从2D点找到3D位置)来估计摄像机的姿态的问题，经典上被称为PnP。OpenCV为您提供了一个解决此问题的现成的解决方案。

然而，你需要首先校准你的相机，也就是说，你需要确定是什么使它独特。您需要估计的参数称为本征参数，因为它们将取决于相机的焦距、传感器大小……但不是在摄像机的位置或方位上。这些参数将从数学上解释世界点是如何投射到你的相机传感器框架上的。您可以从已知的平面模式来估计它们(同样，OpenCV也有一些现成功能 )。