梳理 | 立体视觉相机的优势

其中一项改进是立体视觉相机——这是特制的设备，可以提供立体深度的相机解决方案，为各种机器视觉技术提供支持。 01  什么是立体视觉相机？ 然而，由于技术的原因，立体相机仍在不断发展。 也许与立体视觉相机相关的最著名的“发明”是3D视觉技术。它覆盖了两个视差图像的视图，以产生深度错觉。 但如今，立体3D视觉技术在机器视觉领域发挥着关键作用，并在与人工智能（AI）合作时扩展到了无边界领域。 02  立体视觉相机与单镜头相机 首先想到的是单镜头相机。事实上，大多数相机都是单镜头的。 不过，这里的问题不在于立体相机是否优于单镜头相机，而在于它们是否有潜力表现得更好。 毫无疑问，立体视觉相机比单摄像头更有潜力。与立体视觉相机不同，单镜头相机只有一个镜头可以依靠。 无论结果是单个图像还是流视频，立体视觉技术都将能够提供更生动、逼真的呈现。 3.5 连续帧之间更流畅的连接 如果是拍摄视频，立体视觉的两个镜头将允许连续的帧更好地相互融合。

立体视觉的物距测量

在国防和航空航天领域，计算机视觉还具有更重要的意义，例如自动跟踪和识别运动目标，自动驾驶汽车导航以及太空机器人的视觉控制。 计算机视觉研究的目的是使计算机具有通过二维图像信息识别三维环境信息的能力。 在本文中，我们介绍了立体视觉的相关内容，即使用多个摄像机视图来获取有关视图深度的信息。使用立体视觉，可以从不同相机视图中的图像得出某个点的世界位置。 立体视觉 双目立体视觉是机器视觉的重要形式。 密集立体视觉拍摄左右两个输入图像， 这些图像经过移位和匹配以生成每个像素的深度。 因为在立体摄像机的情况下，我们有两个摄像机，因此有一个线和两个像平面，所以我们有两个子极。 其中： 立体声矫正 由于未对准和不同的特性，两个立体摄像机的图像都必须扭曲为极线对齐的新图像。这些新图像称为对证图像。整个过程称为“校正”，然后将图像平面扭曲到共面平行平面上。

slam标定(二) 双目立体视觉

视觉标定(二) 双目立体视觉标定 一、双目相机模型  生活中，存在最多的就是单目相机，不过现在双摄，三摄手机基本取代了单目手机，我们先来说一下单目相机的缺点。 单目相机仅靠视觉无法消除尺度的不确定性，因此越来越多的人使用双目相机。 ?  上图为正在进行角点提取的双目鱼眼相机图片。 根据三角形相似原理，我们可以得到下面关系式：  化简可得：  其中为视差，视觉与距离成反比，视察越大，距离越近，视察越小，距离越远。 二、双目标定原理  从上一节可以看出，双目视觉是基于左右相机成像平面共面，且左右相机中心水平对齐才成立的。 我们回忆一下上一期的内容，在上一期单目视觉标定当中，我们介绍了单应性矩阵，我们可以通过单应性矩阵得到棋盘格与相机之间的位姿关系。

DCF：立体视觉的视差计算系统

与之相反，DCF是对立体视觉系统的主要组件进行标准化，并进行了集成，以促进视差图的构建。因此，DCF算法可以被参数化或使用先前定义的配置来执行。 然而，Aggregation窗口的理想大小是一个需要找到的参数，并且它是一个可能干扰立体视觉算法执行时间的参数。 DCF界定了立体视觉的范围，为按需处理不同的应用程序提供了坚实的基础，其软件设计允许附加新的立体视觉方法、算法和指标评估。 从这个意义上说，我们提出了不同立体视觉方法之间的共性，并创建了结构软件层，包括预处理、视差计算、后处理和性能评估模块。 我们目前正在使用DCF来研究立体视觉算法，并在视觉和数字上进行比较。此外，我们使用DCF来测试滤波和视差图细化等处理步骤。 2.2 软件支持的所有学术出版物列表 1.

深度相机原理揭秘--双目立体视觉

导读 基于双目立体视觉的深度相机类似人类的双眼，和基于TOF、结构光原理的深度相机不同，它不对外主动投射光源，完全依靠拍摄的两张图片（彩色RGB或者灰度图）来计算深度，因此有时候也被称为被动双目深度相机 双目立体视觉深度相机简化流程 下面简单的总结一下双目立体视觉深度相机的深度测量过程，如下： 1、首先需要对双目相机进行标定，得到两个相机的内外参数、单应矩阵。 双目立体视觉深度相机详细原理 1、理想双目相机成像模型 首先我们从理想的情况开始分析:假设左右两个相机位于同一平面（光轴平行），且相机参数（如焦距f）一致。那么深度值的推导原理和公式如下。 双目立体视觉法优缺点 根据前面的原理介绍，我们总结一下基于双目立体视觉法深度相机的优缺点。 优点 1、对相机硬件要求低，成本也低。 由于双目立体视觉法根据视觉特征进行图像匹配，所以对于缺乏视觉特征的场景（如天空、白墙、沙漠等）会出现匹配困难，导致匹配误差较大甚至匹配失败。 ? 纹理丰富（左）和纹理缺乏场景（右） 3、计算复杂度高。

DCF：立体视觉的视差计算系统

首发地址：DCF：立体视觉的视差计算系统 视差图是立体视觉系统的重要组成部分，因为它们会对两个或多个图像的位移进行编码。 然而，Aggregation窗口的理想大小是一个需要找到的参数，并且它是一个可能干扰立体视觉算法执行时间的参数。 DCF界定了立体视觉的范围，为按需处理不同的应用程序提供了坚实的基础，其软件设计允许附加新的立体视觉方法、算法和指标评估。 从这个意义上说，我们提出了不同立体视觉方法之间的共性，并创建了结构软件层，包括预处理、视差计算、后处理和性能评估模块。 我们目前正在使用DCF来研究立体视觉算法，并在视觉和数字上进行比较。此外，我们使用DCF来测试滤波和视差图细化等处理步骤。 2.2 软件支持的所有学术出版物列表 1. 

小白系列（5）| 计算机视觉：3D立体视觉

01  介绍 本文中，我们将讨论立体视觉，这是一种使用两个或多个摄像机来生成全视场三维测量的机器视觉技术。 02  什么是立体（3D）视觉？ 计算机立体视觉是从二维图像中提取三维信息的过程，例如由CCD相机产生的图像。它结合每个视角中物体的相对位置，来融合多个视角的数据。因此，我们在高级驾驶辅助系统和机器人导航等应用中使用立体视觉。 它感知深度和三维形状的能力被称为立体视觉。 04  计算机系统如何实现立体视觉 我们需要估计每个点的深度，从而从二维图像中生成三维图像。 这是在3D计算机图形和计算机视觉中表示场景深度的常见方式。我们可以在上述图像的左下角看到深度图的一个示例。 05  立体视觉的几何基础 对极几何是立体视觉的几何学基础。 06  计算机立体视觉的数学实现的关键概念 三角测量和视差图是计算机立体视觉所需的工具。在像素级别上，我们使用三角测量从一对立体图像的左右像素点中确定一个3D空间中的点。

小白系列（5）| 计算机视觉：3D立体视觉

作者：DrMax 编辑：东岸因为@一点人工一点智能 01 介绍 本文中，我们将讨论立体视觉，这是一种使用两个或多个摄像机来生成全视场三维测量的机器视觉技术。 02 什么是立体（3D）视觉？ 计算机立体视觉是从二维图像中提取三维信息的过程，例如由CCD相机产生的图像。它结合每个视角中物体的相对位置，来融合多个视角的数据。因此，我们在高级驾驶辅助系统和机器人导航等应用中使用立体视觉。 它感知深度和三维形状的能力被称为立体视觉。 04 计算机系统如何实现立体视觉 我们需要估计每个点的深度，从而从二维图像中生成三维图像。 这是在3D计算机图形和计算机视觉中表示场景深度的常见方式。我们可以在上述图像的左下角看到深度图的一个示例。 05 立体视觉的几何基础 对极几何是立体视觉的几何学基础。 06 计算机立体视觉的数学实现的关键概念 三角测量和视差图是计算机立体视觉所需的工具。在像素级别上，我们使用三角测量从一对立体图像的左右像素点中确定一个3D空间中的点。

立体视觉+惯导+激光雷达SLAM系统

摘要 本文提出的立体视觉+惯导+激光雷达的SLAM系统，在比如隧道一些复杂场景下能够实现良好性能。 VIL-SLAM通过将紧密耦合的立体视觉惯性里程计（VIO）与激光雷达建图和激光雷达增强视觉环路闭合相结合来实现这一目标。该系统实时生成环闭合校正的6自由度激光雷达姿态和接近实时的1cm体素稠密点云。 视觉前端从立体摄像机获取立体图像。它执行帧到帧的跟踪和立体帧匹配，并输出立体匹配结果作为视觉测量。立体VIO采用立体匹配和IMU测量，在位姿图上执行IMU预积分和平滑紧耦合结果。 图6 实验装置 使用两个VPs校准相机机 视觉前端 对立体视觉进行立体匹配，本文使用Kanade Lucas Tomasi（KLT）特征跟踪器来跟踪先前立体匹配中的所有特征点，无论是在左图像还是右图像中 ORB描述子后计算所有幸存特征，然后进行暴力立体匹配以获得新的匹配结果。系统通过对第一帧立体视觉进行立体匹配来初始化系统。

一篇文章认识《双目立体视觉》

前言 双目立体视觉，由两个摄像头组成，像人的眼睛能看到三维的物体，获取物体长度、宽度信息，和深度的信息；单目视觉获取二维的物体信息，即长度、宽度。 建议： （1）基线距B是工作距离的08-2.2倍时测量误差比较小； （2）双目立体视觉的结构对称时，测量系统的误差比较小，精度也比较高。 补充理解： 由立体视觉系统测量的深度被离散成平行平面 （每个视差值一个对应一个平面） ​ 给定具有基线 b 和焦距 f 的立体装备， 系统的距离场受视差范围[dmin ，dmax]的约束。 彩蛋：双目立体匹配（重点） 立体匹配是双目立体视觉中比较重要的一环，往往这里做研究和优化。 ​ CVPRW. 2017. 6）立体匹配算法原理与应用.奥比研究院.徐玉华 7）基于双目视觉的空间非合作目标姿态测量技术研究.颜坤 8）https://www.bilibili.com/video/BV1ka4y1L7xT

如何使用3D立体视觉检查焊接线？

3D立体成像技术通常用于焊线（bonding wire）检查，但存在许多挑战。其中挑战之一是难以使用块匹配算法来解决对应问题，因为某些焊线可能具有无纹理的水平结构。 水平线及相应问题 立体成像应用使用基于相关的块匹配算法来求解对应关系。沿着传感器线，在水平方向上执行一对立体图像的左图像和右图像之间的对应搜索。 图5：立体图像对的左侧图像和右侧图像中的阴影效应。 左右相机之间的透视差异使得阴影出现在立体图像的不同位置。改善场景照明（这并不总是可能的，并且可能需要复杂的定制光源）是克服该问题的一种方法。 通过图像处理技术从立体图像对中去除阴影也是可能的，例如从包含阴影效应的背景中分离焊线。 虽然存在水平线、平行垂直线间距和阴影效应的挑战，为成功实现用于焊线检查应用的3D立体视觉系统带来了困难，但是也存在一些方法能够克服这些障碍。

RAL2021|基于快速直接的立体视觉SLAM

多相机系统通常可以实现更高的精度和鲁棒性；其中，立体视觉系统 [8, 25, 31] 因其简单性和易被接受而特别受欢迎。 大多数现有的立体视觉系统使用标准的立体匹配算法[15]来解决尺度问题，这有两个主要缺点。首先，通过沿着各自的极线单独搜索来找到立体对应在计算上是昂贵的。 然后，我们使用尺度优化 [21] 将其扩展到有效且准确的立体视觉里程计 (VO)。随后，我们使用基于 LiDAR 描述符的位置识别方法 [22] 来有效地检测回环。 DSO [6, 12, 31] 是当前最先进的直接视觉里程计。王等人[31] 将 DSO 扩展到使用立体匹配进行深度初始化的立体系统。 我们还打算通过集成 IMU 测量将系统扩展到立体视觉惯性系统，以进一步提高鲁棒性。

伪激光雷达：无人驾驶的立体视觉

激光雷达成本高，用廉价的立体视觉替代它可行吗？ 作者：Jeremy Cohen 编译：McGL 深度学习和计算机视觉在自主系统中已经疯狂地流行起来，现在到处都在使用。 单目视觉 vs 立体视觉 伪激光雷达利用几何构建了一个深度图，并将其与目标检测图结合起来得到3D距离。 如何利用立体视觉实现距离估计？ 为了得到距离，下面是5步伪代码: 1. 对极几何学（Epipolar Geometry）——立体视觉 立体视觉是基于两幅图像寻找深度。 我们的眼睛类似于两个摄像头。 立体视觉方程式 ? 由于立体视觉，我们可以估计任何物体的深度（假设我们已经做了正确的矩阵校准）。 它甚至可以计算一个深度图或视差图 ? 为什么是“对极几何” ？ 由于立体视觉，我们不仅知道图像中的障碍物，还知道它们与我们的距离！这个障碍物离我们有28.927米远！ 立体视觉是使用简单的几何学和一个额外的摄像头将二维障碍物检测转化为三维障碍物检测的方法。

OpenCV+OpenGL 双目立体视觉三维重建

0.绪论 这篇文章主要为了研究双目立体视觉的最终目标——三维重建，系统的介绍了三维重建的整体步骤。 双目立体视觉的整体流程包括：图像获取，摄像机标定，特征提取（稠密匹配中这一步可以省略），立体匹配，三维重建。 我在做双目立体视觉问题时，主要关注的点是立体匹配，本文主要关注最后一个步骤三维重建中的：三角剖分和纹理贴图以及对应的OpenCV+OpenGL代码实现。 1.视差计算 1.1基于视差信息的三维重建 特征提取 由双目立体视觉进行三位重建的第一步是立体匹配，通过寻找两幅图像中的对应点获取视差。 2.计算世界坐标 一般双目立体视觉中使用的实验图像都是经过外极线矫正的，计算3D坐标也比较方便，其实利用外极线约束（以及其他的约束条件）可以极大的降低立体匹配的计算量。见下图： ?

【深度相机系列三】深度相机原理揭秘--双目立体视觉

双目立体视觉深度相机的工作流程 双目立体视觉深度相机详细工作原理     理想双目相机成像模型     极线约束     图像矫正技术     基于滑动窗口的图像匹配     基于能量优化的图像匹配 双目立体视觉深度相机的优缺点 --------------------------------------------------- 基于双目立体视觉的深度相机类似人类的双眼，和基于TOF、结构光原理的深度相机不同 双目相机确定深度示意图 双目立体视觉深度相机简化流程 下面简单的总结一下双目立体视觉深度相机的深度测量过程，如下： 1、首先需要对双目相机进行标定，得到两个相机的内外参数、单应矩阵。 双目立体视觉法优缺点 根据前面的原理介绍，我们总结一下基于双目立体视觉法深度相机的优缺点。 1、优点 1）、对相机硬件要求低，成本也低。 由于双目立体视觉法根据视觉特征进行图像匹配，所以对于缺乏视觉特征的场景（如天空、白墙、沙漠等）会出现匹配困难，导致匹配误差较大甚至匹配失败。 ?

为运动注入智能：结合 AI、立体视觉与边缘计算

以 3D 看世界：立体视觉的重要性传统运动系统通常依赖编码器、2D 相机或接近传感器进行反馈。这些方法在受控环境中表现良好，但在面对突发情况时则显得力不从心。 立体视觉通过实时生成丰富、密集的 3D 环境地图来填补这一空白。与 LiDAR 或 ToF 传感器不同，立体相机通过模拟人类视觉被动计算深度，利用图像差异重建完整的深度世界。 立体视觉的被动设计和丰富的视觉环境使其成为实时AI应用的首选传感方式。从视觉到行动：AI 的作用拥有 3D 数据后，下一步是对其进行解释。这正是 AI 模型发挥作用的地方。 它具备高分辨率深度输出、IP67 防护等级外壳，并支持实时 SGBM 和先进的深度学习算法，是工业机器人、检测和自主导航的下一代立体视觉解决方案。 立体视觉特别适合户外机器人应用，因为它具备被动感知特性、高空间分辨率以及在光照变化下的稳定性。

自动驾驶汽车的伪激光雷达-双目立体视觉

双目立体视觉（Binocular Stereo Vision）是机器视觉的一种重要形式，它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法 伪激光雷达-双目立体相机 深度学习和计算机视觉在自动驾驶系统中已经非常流行且被广泛应用。计算机视觉领域在过去的十年里得到了迅猛的发展，特别是在障碍物检测方面。 那么如何利用立体视觉实现距离估计？ 双目视觉的对极几何 我们知道双目立体视觉是基于两幅图像来寻找深度的，人类的眼睛就像两个相机，因为两只眼睛从不同的角度观察图像，所以他们可以计算两个视角之间的差异，并建立距离估计。 双目测距实例 所以利用立体视觉，我们不仅知道图像中的障碍物，还知道障碍物与我们的距离！这个障碍物离我们28.927米远！ 与使用激光雷达相比，它保持相对便宜的价格，并且仍然提供出色的性能。

​计算机视觉之三维重建篇.7(双目立体视觉系统-图像矫正)

计算机视觉之三维重建篇.1 计算机视觉之三维重建篇.2(摄像机标定) 计算机视觉之三维重建篇.3(单视图几何) 计算机视觉之三维重建篇.4(极几何) 计算机视觉之三维重建篇.5(双目立体视觉系统- 平行视图) 计算机视觉之三维重建篇.6(双目立体视觉系统-对应点搜索) 还有最后一篇重建，之后我会慢慢分析代码说明其算法实现。

Isaac ROS 2 Humble 预览之全新立体视觉感知→机器翻译←

→github.com/NVIDIA-ISAAC-ROS← IsaacSIM 生成的图像，从左到右的列包含立体视觉、原始图像、BI3D 和 ESS BI3D 是用于基于视觉的障碍物预测的 DNN ( DNN 预测障碍物是否在立体摄像头的 4 个可编程接近场之一内。 基于立体的深度估计是计算机视觉的基石，最先进的方法可以实时提供准确的结果。 对于标准立体声（即整个范围内的连续深度），我们的方法接近或与最先进的微调立体声方法相当。 ESS 是用于立体相机视差预测的 DNN ( https://arxiv.org/pdf/1803.09719.pdf ）。该网络提供基于视觉的连续深度感知，为左/右摄像机遮挡区域提供预测。 ，和右侧的经典 CV 立体视差函数） 

​计算机视觉之三维重建篇.5(双目立体视觉系统-平行视图)