为什么立体视觉矫正图像

Question

我正在尝试重建棋盘的位置，从它的立体声对应从校准的立体相机图像。根据这个答案的说法，我经历了整个过程

1. 校准立体声摄像机
2. 计算投影矩阵
3. 三角不失真点

我不明白有一个步骤，那就是，为什么应该在stereoCalibration期间使用openCV的cv2::stereoRectify()或Matlab的rectifyStereoImages纠正立体声图像。或者更好：如何获得投影矩阵？？通过立体声校正或简单地

P = K×[R|t]

从R，t和K得到了stereoCalib / cameraCalib函数。

正如我所理解的，立体声校正对于绘制深度图是很重要的，但是由于我只做过用三角剖分进行3D估计的工作，所以我不确定它在这种情况下是否有用。我有点困惑，因为我发现的每一个立体声校准演示都包含这个校正步骤。

更复杂的答案是受欢迎的，因为我想答案只是简单地通过提供的方程式来计算，但我想更多地了解这次修正是关于什么的。

Answer 1

如果你已经知道在两个图像上哪个点是对应的，你是对的，不需要立体声校正。你只需对点进行三角剖分，即可得到三维坐标。

但是如果你试图从整个图像中估计深度图，你需要解决立体声对应问题，也就是说，你需要为一幅图像中的每一点找到第二幅图像中的对应点。

通过立体校正，您可以确保极线是水平的，相应的点只能在同一水平像素行在两幅图像中。这意味着您对通信的搜索空间非常小，因此问题变得容易处理。

如果这回答了你的问题，或者你需要更多的指向正确方向的话，请告诉我！