C++ / OpenCV -深度地图问题:点云中的项目有一些扭曲

Question

我想要创建一个深度地图，以获得每个像素的三维位置，以便我可以有一些选定项目的三维位置在我的图片。为了查看我的深度数据是否正确，我用MeshLab可视化了它。

我使用基蒂数据集的立体数据，因此图像是校正的和校准为每一个相机提供。

这一进程如下：

图像左+图像右->利用立体半全局匹配(SGBM)计算视差->使用cv::reprojectImageTo3D()计算深度图，根据校准参数和此函数计算Q初始化：

 cv::stereoRectify(cameraMatrix1, distCoeffs1, cameraMatrix2, distCoeffs2, imgSize, R, T, R1, R2, P1, P2, Q);

我的问题是：

​

道路是可以的，但标志板有一些失真。我不明白，我试图改变参数，但没有成功。我总是有这种扭曲。这是烦人的，因为我不能计算一个良好的三维位置的标志板。我也尝试了经典的块匹配，但是它是一样的，结果与半全局匹配的结果不太好。

然而，我的差距看起来是这样的(对我来说这似乎很好)：

​

视差计算的参数如下：

    StereoSGBM sgbm;
    sgbm.SADWindowSize = 3;
    sgbm.numberOfDisparities = 128;
    sgbm.preFilterCap = 10;
    sgbm.minDisparity = 0;
    sgbm.uniquenessRatio = 10.0;
    sgbm.speckleWindowSize = 100;
    sgbm.speckleRange = 32;
    sgbm.disp12MaxDiff = 1;
    sgbm.fullDP = 1;
    sgbm.P1 = sgbm.SADWindowSize*sgbm.SADWindowSize*4;
    sgbm.P2 = sgbm.SADWindowSize*sgbm.SADWindowSize*32;

    sgbm(gray1, gray2, disp);

你知道为什么会这样吗？我怎么能解决这个问题？我想要一个平面很好的标牌。

Answer 1

通过使用SGBM参数，您可能可以稍微改进一些东西，但是现实情况是，立体声数据是嘈杂的，您不应该期望在点云中得到一个完美的平面标志。

如果您有兴趣找到标志的三维位置，将标志从RGB图像中分割出来，并将点云中的对应点平均在一起，应该会产生合理的结果。