视觉三维建模

二维摄像 + 三维重建法 = 深度视觉摄像 ---- ---- 二维摄像 结构光方案 优点： 技术成熟； 价格低廉。 三维重建法 探针法 时期：早期采用的 特点：简单粗暴 原理：直接手拿定位探针，在物体表面移动，一个点一个点地测坐标 直接测距法 超声波法 原理：使用特定的人造声源，对物体表面逐点用声程差来测距 缺点： 深度图像分辨率较低，做一些简单的避障和视觉导航可以用，但是要求精度高些的场景就不行； 测量距离较常规测量仪器短，一般不超过 10 米； 测量结果受被测物性质的影响； 大多数机器的测量结果受外界环境干扰较为明显 运用：“一日之内建好罗马”项目 ---- ---- 综述——深度视觉摄像 国内三大主流深度摄像头方案 (单目)结构光 传统摄像机 双目视觉(双目可见光/双目RGB) 双目摄像机 TOF飞行时间法 双目立体视觉技术利用双摄像头摄取两幅图像的视差，构建三维场景，在检测到目标后，通过计算图像对应点间位置偏差，获取目标的三维信息，并能以三维立体视角精确区分行人和干扰物体，如推车、行李箱。 ?

三维视觉之结构光原理详解

编辑丨机器人视觉研究院 ? ? 关 于 线 扫 描 结 构 光 线扫描结构光较之面阵结构光较为简单，精度也比较高，在工业中广泛用于物体体积测量、三维成像等领域。 最终可知P点的三维坐标为： ? 将之推广至三维空间中： ? 由小孔成像模型有 ? 由三角测量原理又有 ? 两式联立则有 ? 最后可得 ? 对于宽度为1024的图像，最少需要10张影像来进行编码。 ? Binary Code 的一种改进为Gray Code. 下载2 在「计算机视觉工坊」公众号后台回复：计算机视觉，即可下载计算机视觉相关17本pdf书籍，包含计算机视觉算法、Python视觉实战、Opencv3.0学习等。 同时也可申请加入我们的细分方向交流群，目前主要有ORB-SLAM系列源码学习、3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、

三维识图，赋予机器真正的视觉

而云+端的架构则可以让识别效率大幅提升，百度的三维识别算法就可以被普及到更多设备和更多应用之中。 三维识别给世界带来什么改变？给机器真正的视觉。 不过这些机器在过去并没有真正的视觉。想象一下我们的视觉能力，除了可以识别静态图像之外，还可以识别三维世界的深浅、远近、模糊与清晰等等。我们可以动态识别变化的世界，瞬间完成识别过程毫无时延。 不依赖特殊设备、可高效率完成的三维识别则有望给机器赋予人类一样的视觉。这是它可能带来的几个典型应用： 1、实时视觉移动搜索。 实时、视觉和移动都是搜索引擎发展的几个趋势。 总之，三维视图让虚拟现实建模更容易。 三维识图的成熟对于机器视觉而言将具有里程碑的意义，它让机器真正拥有跟人类相近的视觉，进而在图像信息的获取上可以接近人类。 李彦宏如此重视机器视觉这块，百度在三维识图之后应该还会有更多新的成绩，让机器能听能看会思考，是百度未来重中之重。

使用 OpenMVG+PMVS实现视觉三维重建

一、什么是视觉三维重建？ 我们知道，照相机的原理是将一个三维场景投影到二维平面。所谓视觉三维重建，顾名思义就是从已有的二维图像中复原原始三维场景。 多视图稠密重建（MVS） 目前，有不少开源的三维重建系统，本文简单介绍使用OpenMVG（有CUDA的可以用colmap）+PMVS（OpenMVS安装的坑比较多），实现三维场景的三维重建。 生成的三维稠密点云俯视角： ? 五、三维重建实例（书） 1.准备照片 注意事项： 自己拍的照片必须确保照片里有exif信息！ 七、其他 生成的三维点云数据如果要用于自动驾驶避障，最好增加超声波、毫米波雷达，并把各传感器生成的点云与视觉重建点云进行融合。 对融合后的点云数据进行噪点清理、三维目标检测，生成三维障碍物的类型/大小/位置信息，再根据三维空间的行进方向进行避障路径规划。 本文仅做学术分享，如有侵权，请联系删文。

无人车业务中的视觉三维重建

“LiDAR+惯导+RTK” 采集方案的采集车¹² 在这种方案下，建图主要过程是以惯导+RTK融合的位姿作为先验，之后基于LiDAR点云进行三维场景的高精重建。 在融合后RGB图像上的像素就可以投影到三维空间中，得到稠密点云，完成最终的稠密重建。 对于道路场景而言，由于路面的特征点非常稀少（典型的弱纹理），所以使用经典的算法恢复路面纹理具有较大的挑战。 该方案仅需一颗前视摄像头，运用深度学习和SLAM技术实现了道路场景的语义三维重建，将建图与定位的过程全部在车端实时进行。 车辆通过前视摄像头捕捉即时交通信息，然后抽象出道路场景的特征（即实现场景语义三维重建），并直接在车端完成地图“绘制”与定位。 Video to depth with differentiable structure from motion[J]. arXiv preprint arXiv:1812.04605, 2018. 10

基于深度学习的视觉三维重建研究总结

现在每个人都在研究识别，但识别只是计算机视觉的一部分。真正意义上的计算机视觉要超越识别，感知三维环境。我们活在三维空间里，要做到交互和感知，就必须将世界恢复到三维。 所以，在识别的基础上，计算机视觉下一步必须走向三维重建。本文笔者将带大家初步了解三维重建的相关内容以及算法。 ? ? 港科大权龙教授 三维重建定义 在计算机视觉中, 三维重建是指根据单视图或者多视图的图像重建三维信息的过程. 由于单视频的信息不完全,因此三维重建需要利用经验知识. 三角网格 三维重建的分类 根据采集设备是否主动发射测量信号，分为两类：基于主动视觉理论和基于被动视觉的三维重建方法。 主动视觉三维重建方法：主要包括结构光法和激光扫描法。 被动视觉三维重建方法：被动视觉只使用摄像机采集三维场景得到其投影的二维图像，根据图像的纹理分布等信息恢复深度信息，进而实现三维重建。

OpenCV+OpenGL 双目立体视觉三维重建

0.绪论 这篇文章主要为了研究双目立体视觉的最终目标——三维重建，系统的介绍了三维重建的整体步骤。 双目立体视觉的整体流程包括：图像获取，摄像机标定，特征提取（稠密匹配中这一步可以省略），立体匹配，三维重建。 我在做双目立体视觉问题时，主要关注的点是立体匹配，本文主要关注最后一个步骤三维重建中的：三角剖分和纹理贴图以及对应的OpenCV+OpenGL代码实现。 1.视差计算 1.1基于视差信息的三维重建 特征提取 由双目立体视觉进行三位重建的第一步是立体匹配，通过寻找两幅图像中的对应点获取视差。 4.三维重构 为了保证三维重建的效果，一般地要对深度图像进行后续处理。

基于单目视觉的三维重建算法综述

小白导读 总结很全面单目视觉的三维重建算法，深度好文，强烈建议小伙伴收藏资源！！！ 文章转载自SIGAI（SIGAICN） 三维计算机视觉在计算机视觉是偏基础的方向，随着2010年阿凡达在全球热映以来，三维计算机视觉的应用从传统工业领域逐渐走向生活、娱乐、服务等，比如AR/VR，SLAM ，自动驾驶等都离不开三维视觉的技术。 图 1基于图像的三维重建算法 SfM（Structure From Motion），主要基于多视觉几何原理，用于从运动中实现3D重建，也就是从无时间序列的2D图像中推算三维信息，是计算机视觉学科的重要分支 3、三维视觉发展趋势 趋势1：多视觉几何与Deep learning方法融合 在深度学习一统天下的计算机视觉领域，三维视觉方向主导算法仍然是传统的多视角几何方法，但是深度学习方法也是一种重要而有效的辅助

基于单目视觉的三维重建算法综述

三维计算机视觉在计算机视觉是偏基础的方向，随着2010年阿凡达在全球热映以来，三维计算机视觉的应用从传统工业领域逐渐走向生活、娱乐、服务等，比如AR/VR，SLAM，自动驾驶等都离不开三维视觉的技术。 图 1基于图像的三维重建算法 SfM（Structure From Motion），主要基于多视觉几何原理，用于从运动中实现3D重建，也就是从无时间序列的2D图像中推算三维信息，是计算机视觉学科的重要分支 本综述主要介绍基于单目monocular的三维重建方法，主要分为基于SfM三维重建和基于Deep learning的三维重建方法，另外由于多视觉几何涉及大量的矩阵、线性代数和李群等数学概念，本综述不做进一步研究 图 2基于图像的三维重建基本流程 1、SfM 与三维重建 从二维图像中恢复三维场景结构是计算机视觉的基本任务，广泛应用于3D导航、3D打印、虚拟游戏等。 3、三维视觉发展趋势 趋势1：多视觉几何与Deep learning方法融合 在深度学习一统天下的计算机视觉领域，三维视觉方向主导算法仍然是传统的多视角几何方法，但是深度学习方法也是一种重要而有效的辅助

计算机视觉之三维重建篇.1

这么系统的PPT，不常有。这里做一个分享，好好记住，学东西要系统，要深入，要坚持吧？

精选论文 | 三维视觉之点云识别【附PDF下载】

关注文章公众号 回复"SFFAI25论文"获取本主题精选论文 最近，由于自动驾驶，机器人等的发展，3d视觉逐渐引起了研究人员和工程师的关注。 该工作在点云上构建图，将每一个三维点作为图顶点，用三维点坐标定义边属性。卷积滤波器的权重根据输入的三维点以及边属性动态生成，捕获图结构信息，整个流程简单来说就是三维点—图—边属性—卷积权重。 该工作也是构建图卷积网络，但动机非常直观：在点云学习中，高维特征空间中邻近的点，其在原始三维空间中所处的局部形状结构也应该相似。基于此，该工作在特征空间中寻找近邻点构建图网络。

​计算机视觉之三维重建篇.7(双目立体视觉系统-图像矫正)

计算机视觉之三维重建篇.1 计算机视觉之三维重建篇.2(摄像机标定) 计算机视觉之三维重建篇.3(单视图几何) 计算机视觉之三维重建篇.4(极几何) 计算机视觉之三维重建篇.5(双目立体视觉系统- 平行视图) 计算机视觉之三维重建篇.6(双目立体视觉系统-对应点搜索) 还有最后一篇重建，之后我会慢慢分析代码说明其算法实现。

​计算机视觉之三维重建篇.5(双目立体视觉系统-平行视图)

干货||10个机器视觉常见问题

选择相机却往往刻不容缓的的问题摆在机器视觉工程师面前，因此，选择相机了解以下几个方面问题： 通常您首先需要知道系统精度要求和相机分辨率，可以通过公式：X方向系统精度(X方向像素值)=视野范围 通常，我们能够处理亚分辨率为10×10亚像素的图像。一个典型的例子就是决定一个斑点的重心。由于积分特性，原始像素位置误差与其本身输出相同。

​计算机视觉之三维重建篇.4(极几何)

喜提新书

StereoLabs：重新定义三维感知的计算机视觉先锋

技术优势分析与传统方案的对比技术指标StereoLabsZED结构光相机ToF相机室外性能优秀差一般测量范围0.5-20m0.1-5m0.1-10m精度稳定性高中等中等功耗低中等高开源生态与社区支持StereoLabs 云端服务扩展除了本地SDK，StereoLabs正在发展云端三维视觉服务，为移动设备和低算力终端提供远程三维感知能力。 总结StereoLabs通过创新的立体视觉技术，为计算机视觉领域提供了强大而灵活的三维感知解决方案。 对于开发者和研究人员而言，StereoLabs不仅提供了优秀的三维视觉工具，更构建了活跃的技术社区和丰富的学习资源，降低了三维视觉应用开发的门槛。 关键词：StereoLabs,立体视觉,深度相机,ZEDSDK,计算机视觉,三维感知,深度估计,SLAM,机器人视觉,视觉感知

大盘点|三维视觉与自动驾驶数据集（40个）

该数据集用于评测立体图像(stereo)，光流(optical flow)，视觉测距(visual odometry)，3D物体检测(object detection)和3D跟踪(tracking)等计算机视觉技术在车载环境下的性能 整个数据集由389对立体图像和光流图，39.2 km视觉测距序列以及超过200k 3D标注物体的图像组成，以10Hz的频率采样及同步。 注释通过基于web的公共接口提供，以支持对象属性的数据可视化，促进数据驱动的几何分析，并为计算机图形学和视觉研究提供大规模定量基准。 数据集包含90个建筑物的194,400张RGB-D图像，10,800个全景图像，24,727,520个纹理三角面。 26. 它由大约10亿点组成。每个点都被层次化和基于实例的标签注释。

​计算机视觉之三维重建篇.5(双目立体视觉系统-对应点搜索)

计算机视觉之三维重建篇.1 计算机视觉之三维重建篇.2(摄像机标定) 计算机视觉之三维重建篇.3(单视图几何) 计算机视觉之三维重建篇.4(极几何)

三维ImageNet开源！港中深韩晓光团队助力计算机视觉进入三维大数据时代

机器之心专栏 机器之心编辑部 随着深度学习技术的快速发展，数据驱动的方法已成为计算机视觉领域的核心。 在过去的十年里，随着 ImageNet 诞生之后，计算机视觉领域见证了 “从数据中学习” 的范式的兴盛。 在 ImageNet 上进行预训练，然后迁移到下游的视觉任务，都能显著提升模型性能，并且已经成为 2D 图像领域的标准化方式。 因此，与 2D 视觉领域不同，在 3D 领域，大多数方法都直接在特定数据集上进行训练和评估，以解决特定的 3D 视觉任务（例如，使用合成的物体或者 ShapeNet 进行新视角合成，使用 ModelNet 两个关键的问题是：（1）在 3D 视觉领域，尚无一个通用数据集，可以与 2D 领域的 ImageNet 相媲美。（2）这样一个数据集能给 3D 社区带来什么好处还不为人所知。

用于自动驾驶的大规模三维视觉语义地图的构建

摘要 本文提出了一种完整的流程，基于立体相机系统实现的3D语义地图构建，该流程包括直接稀疏视觉里程计前端以及全局优化的后端，包括GNSS集成和语义三维点云标记。 本文提出了一个完整的基于视觉的流程，旨在创建可扩展且实时的地图。我们的流程仅通过立体视觉系统生成大规模的3D语义地图，如图2所示。 视觉里程计和3D建图 所提出的语义建图流程的核心是一种先进的视觉SLAM算法，为了提供关于3D环境的丰富信息，需要对周围环境进行一定稠密级别的详细重建，所提出的语义建图流程依赖于直接SLAM前端进行3D ，而不是图像空间中的二维标签，因此，我们提出了一种简单但有效的方案，仅从图像中获得准确且一致的三维标签。 此外，我们展示了该方案能够利用车队生成覆盖数千公里道路的城市规模语义地图，这样的大规模语义地图可以作为生成完全矢量化高精地图的中间结果，此外，我们认为结合最先进的密集重建方法，可以进一步构建大规模的语义三维语义地图