使用iPhone相机的点云

Question

我是计算机视觉领域的新手，对它很着迷。我仍然在学习这些概念，有一件事真正吸引了我的兴趣，那就是点云和使用图像的3D重建。

我想知道从iPhone 6相机拍摄的图像是否能够生成点云。我知道PCL(点云库)，并正在考虑开发一个使用它的iOS应用程序。

我运行了这个样例PCL应用程序：https://github.com/9gel/hellopcl，它基本上是一个使用提供给它的点云数据的渲染器。我希望开发一个可以使用摄像头实时生成点云的应用程序。

我的问题是，这是可能的吗？

谢谢

Answer 1

答案是肯定的，有一些方法可以从多个图像生成点云。从图像生成三维点云的一些常用方法包括：

3D Reconstruction from Multiple images：

已知摄像机在六自由度空间中的运动，基于图像强度的变化，深度可以使用标准的立体对应算法来计算。但是，使用陀螺、加速度计和磁强计无法精确估计摄像机的运动。

您可以在此处阅读有关这些方法的更多信息：General overview

在6自由度姿态未知的情况下，您仍然可以使用以下一些方法从图像中提取点云：

SLAM

位置估计中的不确定性可以通过考虑图像和惯性传感器提供的运动信息来解决。SLAM是一个先有鸡还是先有蛋的问题。要估计深度，你需要精确的运动信息，要有运动信息，你需要深度信息。有不同版本的SLAM为手机实现。

LSD-SLAM：

大规模直接单眼SLAM用于从连续的视频馈送生成密集的Depthmap。这种方法的计算量很大。只能脱机执行。类似的版本也在手机上实现。你可以找到here

Bundle Adjustment (BA)：

传统的束调整方法使用极线约束和特征匹配从多幅图像中估计相机的结构和运动。它消耗更多的内存来进行全局优化。使用该方法可以实现场景的高质量三维重建。这种方法现在有多种变体可用。

您可以根据相同的概念找到不同的方法。上面的许多方法都可以用于离线生成3D点云。但是对于像iPhone这样的移动平台来说，实时生成点云是一件很重要的事情。

谢谢