有关iphone arkit planeDetection的详细信息

Question

我想知道从计算机视觉的角度如何检测平面表面，以及为什么Arkit不能检测垂直表面。

Answer 1

地平面检测的工作方式如下。场景的稀疏三维重建是使用基于特征的视觉惯性里程(这意味着使用视觉运动结合来自潮间带传感器的信息来估计相机姿势)。3D重建中的点(也称为地图)对应于在两个或多个相机图像中检测到的特征点。从这种稀疏重建中，通过找到所有近似共面的重建点来建立一个地平面。解决这个问题的方法很可能是基于RANSAC的平面拟合。它的工作原理是随机采样一小部分特征点(通常是3个或4个)，找到与这些点最接近的平面的方程，然后测试所有其他点是否靠近拟合的平面。该过程重复多次(通常是数百次)，直到找到适合大量特征点的平面。此库中有一个假设，即平面是地平面(不是墙)，因此任何检测到的具有强倾斜角度的平面都将被拒绝。它可以使用机载陀螺传感器来做到这一点。只支持地平面的原因是，它们对应于AR (将虚拟对象放置在地平面上)的最常见用例，但在未来，几乎肯定会支持其他几何曲面。