如何使用立体声对合成新的摄像机视图？

Question

我想从任意的角度合成一个虚拟视图，使用我已经拥有的一对立体相机。我已经校准了我的立体声装置，所以我知道两个相机的本质和外部的相互关系。我的合成新视图的方法是基于3x4摄像机矩阵的计算，基于由立体对获得的深度图计算的[X, Y, Z]点。然后利用新视图(x, y)中的多点对应，用方程[x y 1]' = C * [X Y Z 1]'求出摄像机矩阵C。我的问题：

1. 这是生成任意视图的正确方法吗？
2. 推荐了多少个点对应，以及在什么平面上计算相机矩阵？因为我没有得到一个好的结果使用6-8分。我不能使用SIFT/冲浪，因为图像是无特征的，我必须手动标记点。
3. 即使我得到了相机矩阵，当摄像机矩阵是不可逆的时，如何进行前向弯曲。

如果您需要更多的信息，请评论。

谢谢!

Answer 1

简短答覆：

1. 不，因为你已经有了深度图，而且你的钻机已经校准过了。
2. 不相干
3. 不相干

你所需要做的就是建立一个三维网格(实际上，一个网格)的深度地图。这将有定义，没有遮挡在任何一个相机的立体声对。然后，您可以使用立体相机(或两者兼用)对网格进行纹理处理(或者使用更复杂的纹理选择算法，例如，哪个视图与每个方面更平行，以尽量减少拉伸)。然后，您可以将网格呈现到您希望的任何其他视图中。