立体匹配与不同相机拍摄的图像(不同视场、视点)不对齐

Question

我正在努力获取场景中某些物体的深度，我不想使用任何其他传感器，除了相机(我可以使用两个摄像头)。

因此，我认为这应该是一个‘立体匹配’的问题，我计划从立体图像中提取视差图来获取深度信息。

但问题是，我有一些限制，例如：

1. 两个摄像头不对齐。所有(x，y，z)位置都不同。
2. 两台摄像机的视场是不同的。一个比另一个宽。
3. 两台摄像机的观点是不同的。
4. 两台摄像机的分辨率不同。

在这种情况下，是否有可能做正确的立体匹配？如果是这样的话，怎么可能呢？

我知道，对于立体匹配，极几何和基本矩阵是非常重要的。但据我所知，基本矩阵总是属于一台相机。两个摄像机的两个基本矩阵之间的关系可以解决这个问题吗？

谢谢。

不同摄像机、分辨率、视点、视场下的立体图像

校正图像

通过MATLAB的立体摄像机校验仪，我得到了stereoParams，并使用它进行了校正。

但校正后的图像失真过大，无法得到视差图。

我不知道我是向右走，还是不走。

有什么建议吗？谢谢。

Answer 1

是的，这是可能的。由于您的立体声设置，您的相机和视野是不同的，我认为您首先需要做相机校准，校准后，您做纠正您的图像如下。极极

在此之后，您将有定期立体声设置，与已知的相机几何学。然后你就可以提取悬殊。这里有很好的教程：ROS立体定标