理解solvePnP算法

Question

我很难理解透视-n点问题。几个问题：

1. s是干什么用的？为什么我们需要一个比例因子作为图像点？
2. K[R|T]是一个“坐标矩阵的变化”，它将p_w这个同质的世界点移动到二维图像平面的坐标空间中吗？
3. 我知道[R|T]代表了相机相对于相应的世界点p_w的“旋转和平移”，这就是我们试图解决的问题。这有什么特别困难的？我们就不能说[R|T] =inv(K)s(p_c)inv(p_w)吗？我只是用一些基本的矩阵代数来做这个。
4. 我不明白为什么PnP有多种解决方案..。这些多重解决方案到底是什么？

谢谢你的帮助！

Answer 1

1. 要确定从小距离观看的对象很少，还是从较高的距离查看大对象，需要刻度因子。

典型摄像机针孔方程

​

​

S表示相机坐标系中点的Z坐标。

1. 对，K[R|t]是投影矩阵，它将某个物体/世界/全球坐标系中的三维坐标映射到上面方程中的图像2d坐标中。
2. 这并不容易，因为您通常不知道相机坐标系中的点坐标，而是知道图像坐标系中的2d坐标。相机坐标系与图像坐标系之间的变换是一维的，并且存在标度因子，使得方程不完全线性。这就是为什么计算起来不那么容易。
3. 不同的算法使用不同的方法添加解决方案所需的附加信息。例如，直接线性变换( DLT )方法使用投影矩阵的特征。除了解析解外，还有许多采用非线性优化的方法，例如在openCV中使用的Levenberg-Marquardt方法。