深度估计精度.立体视觉

Question

我正在做一个立体视觉的研究，我对这个问题的深度估计的准确性感兴趣。这取决于以下几个因素：

• 正确的立体声校准(旋转、平移和失真提取)
• 图像分辨率，
• 相机和镜头的质量(失真小，适当的颜色捕捉)，
• 两个图像之间的匹配特征。

假设我们没有低成本的相机和镜头(没有便宜的网络摄像机等)。

我的问题是，在这个领域，我们能达到的深度估计的精度是多少？谁知道一个真正的立体视觉系统，工作的一些准确性？我们能达到1mm深度估计精度吗？

我的问题还针对在opencv中实现的系统。你设法达到了什么准确度？

Answer 1

我想补充的是，使用颜色是一个坏主意，即使是昂贵的相机-只需使用灰度梯度。一些高端立体声摄像机(例如点灰色)的生产商过去依赖于颜色，然后切换到灰色。还考虑偏差和方差作为立体匹配误差的两个组成部分。这一点很重要，因为使用相关立体声，例如，使用一个大的相关窗口将平均深度(即将世界建模为一束正面-平行补丁)，并减少偏差，同时增加方差，反之亦然。所以总是有交易的。

比上面提到的更多的因素，你的立体声的准确性将取决于具体的算法。这就需要一种算法来验证深度(立体声估计后的重要步骤)，并优雅地修补无纹理区域中的漏洞。例如，考虑前后验证(匹配R到L应该产生与匹配L到R相同的候选值)、blob噪声去除(连通分量算法去除立体匹配时典型的非高斯噪声)、纹理验证(在纹理弱的区域使深度失效)、唯一性验证(没有第二和第三强候选的单模匹配分数)。这通常是来回验证的捷径)，等等。精度也将取决于传感器噪声和传感器的动态范围。

最后，你必须问一个关于精度的问题，因为d=f*B/z，其中B是相机之间的基线，f是以像素为单位的焦距，z是光轴上的距离。因此，精确性很大程度上依赖于基线和距离。

Kinect将提供1毫米的精度(偏差)和相当大的差异，高达1米左右。然后它会急剧下降。Kinect将有一个长达50厘米的死区，因为在近距离内没有足够的两个摄像机重叠。是的- Kinect是一种立体声摄像机，其中一个摄像机是由红外投影仪模拟的。

我确信在概率立体声中，如马尔可夫随机场上的信念传播，可以获得较高的精度。但这些方法都假定了物体表面光滑性或特定曲面方向的强先验性。见例如，第14页。

Answer 2

问:有人知道一个真正的立体视觉系统的工作与一定的准确性？我们能达到1mm深度估计精度吗？

是的，你肯定可以达到1mm (和更好)的深度估计精度与立体声钻机(见鬼，你可以做一对显微镜立体声侦察)。以立体声为基础的工业检测系统，精度在0.1毫米范围内，在日常使用中，至少从1990年代初开始使用。要明确的是，“立体声”指的是使用两个或更多几何分离传感器的三维重建系统，其中一个点的三维位置是通过对传感器中三维点的匹配图像进行三角剖分来推断的。这种系统可以使用结构光投影仪来帮助图像匹配，但是，与适当的“基于结构光的三维重建系统”不同，它不依赖于光投影仪本身的校准几何图形。

然而，为高精度设计的大多数(可能，所有)立体声系统要么使用某种形式的结构化照明，要么使用一些关于重构形状的几何形状的先验信息(或两者的组合)，以便严格限制要被三角化的点的匹配。其原因是，一般情况下，一个人可以更准确地三角测量比他们能够匹配，因此匹配精度是重建精度的限制因素。

了解这种情况的一个直观方法是查看立体重建方程的简单形式:Z=f/ d，这里的"f“(焦距)和"b”(基线)概括了钻机的特性，并通过校准估计，而"d“(视差)表示同一3D点的两幅图像的匹配。

现在，最关键的是，校准参数是“全局的”参数，它们是根据在视场和感兴趣的深度范围内进行的许多测量来估计的。因此，假设校准过程是无偏的，且系统近似时不变，则每个测量值的误差在参数估计中平均。因此，通过大量的测量，并通过严格控制钻机的光学、几何和环境(包括振动、温度和湿度变化等)，可以非常准确地估计校准参数，也就是说，通过传感器分辨率的不确定度影响的无偏估计值，或更好地，使其残差的影响可以在钻机工作的已知空间内被忽略。

然而，差异是逐点估计的:一种说法是左图像中的点p匹配(可能)右边图像中的点q，而视差d= (q - p)中的任何错误都出现在f- b所缩放的z中，这是一个一次性的东西。更糟糕的是，在所有非平凡的情况下，视差的估计都受到被分析对象的几何和表面特性的影响，以及它们与照明的相互作用。这些密谋--通过任何匹配算法--降低了重建的实际精度。结构化照明在这方面有帮助，因为它减少了这种匹配的不确定性:基本思想是在图像中可以找到并匹配(通常是亚像素精度)的物体上突出清晰、聚焦良好的边缘。这里有大量的结构化光方法，所以我不会在这里详细讨论。但我注意到，在这个领域，使用颜色和仔细选择投影仪的光学可以有很大帮助。

所以，你能在实践中实现什么，就像往常一样，取决于你愿意花多少钱(更好的光学、低噪声传感器、刚性材料和钻机机械设计、控制照明)，以及你对特定重建问题的理解和约束程度。

Answer 3

如果您不想更多地了解这些方法的准确性，那么请看一看本站，尽管它已不再非常活跃，但其结果几乎是最先进的。考虑到在那里发表的几篇论文是用来创建公司的。什么叫真正的立体视觉系统？如果你的意思是商业上没有多少，大多数商业重建系统都是用结构光或直接扫描仪工作的。这是因为(您忽略了列表中的一个重要因素)，纹理是影响准确性的关键因素(甚至在此正确性之前)；除非添加纹理或结构光，否则立体系统无法重建白色墙壁。然而，根据我自己的经验，涉及变分匹配的系统可能非常精确(图像空间中的亚像素精度)，这通常不是通过概率方法实现的。最后一点，相机之间的距离对精确性也很重要:非常近的相机会很快找到很多正确的匹配，但精度会很低，距离越远的相机会找到更少的匹配，可能需要更长的时间，但结果可能更准确；在许多书中定义了一个最优的圆锥形区域。在这一切之后，我可以告诉你，使用opencv你能做的最好的事情之一是做一个初始的相机校准，使用Brox的光流找到匹配和重建。