迈向下一代SLAM：聚焦性能、鲁棒性与未来方向的3DGS-SLAM综述

文章：Towards Next-Generation SLAM: A Survey on 3DGS-SLAM Focusing on Performance, Robustness, and Future Directions

作者：Li Wang , Ruixuan Gong , Yumo Han , Lei Yang , Lu Yang , Ying Li , Bin Xu , Huaping Liu , and Rong Fu

编辑：点云PCL

摘要

传统的同步定位与建图（SLAM）系统常常面临渲染质量粗糙、场景细节恢复不足以及在动态环境中鲁棒性差等局限。3D高斯泼溅（3DGS）以其高效的显式表示和高质量的渲染能力，为SLAM提供了一种新的重建范式。本综述全面回顾了将3DGS与SLAM集成的关键技术方法。我们从四个关键维度分析了代表性方法的性能优化：渲染质量、跟踪精度、重建速度和内存消耗，深入探讨了它们的设计原理和突破。此外审视了在运动模糊和动态环境等复杂场景中增强3DGS-SLAM鲁棒性的方法。最后讨论了该领域未来的挑战和发展趋势。本综述旨在为研究人员提供技术参考，并推动以高保真度、高效性和鲁棒性为特征的下一代SLAM系统的发展。

SLAM发展历史

同步定位与建图（SLAM）是自主导航、增强现实和自动驾驶等应用的基础技术，其目标是在未知环境中估计自身位姿，同时构建一致的地图。SLAM融合传感器数据以提取环境特征，并基于运动和观测模型迭代优化位姿与地图。

传统SLAM方法主要依赖于几何特征，从滤波器方法（如EKF-SLAM）发展到稀疏特征点方法（如MonoSLAM和PTAM），再到稠密/半稠密方法（如DTAM和LSD-SLAM），最后到紧耦合架构（如ORB-SLAM系列和DSO）。随着深度学习的发展，基于学习的方法（如DROID-SLAM、DeepFactors和SP-SLAM）显著提高了精度。将语义信息融入建图的方法（如MaskFusion、Co-Fusion和RDS-SLAM）则进一步增强了对环境的理解和建模能力。

尽管具有优势，这些方法仍面临显著局限。在渲染质量方面，许多方法依赖粗糙的几何表示（如稀疏点云和网格），只能恢复粗略的场景几何，无法生成逼真的视图。在跟踪精度上，特征匹配在弱纹理、动态运动或光照变化下可能失败，导致位姿漂移。此外，内存消耗仍是一个挑战，因为稠密方法通常存储网格或体素，导致内存使用率高。

最近，神经辐射场（NeRF）及其变体为SLAM带来了显著进展。然而，基于NeRF的方法依赖于密集的视角采样，难以处理稀疏视图，且神经网络训练计算成本高，难以满足实时性要求。这些方法也倾向于使用大型体素哈希或多层感知机进行场景表示，导致复杂度高。

现有的SLAM范式在高保真重建与实时效率之间存在根本性的权衡。显式几何表示（如点云、体素、网格）便于实时操作，但往往无法捕捉高频纹理细节。相反，隐式神经表示擅长细节合成，但计算和内存成本高昂，限制了其实时部署能力。新兴的3D高斯泼溅（3DGS）技术弥合了这一鸿沟，它提供了一种显式表示，兼具NeRF的渲染质量和卓越的渲染速度。

自3DGS问世以来，已有若干综述对其进行了回顾，但主要将3DGS作为场景的一般表示进行探讨，未深入其在SLAM集成中面临的特定优化挑战。相反，现有的SLAM综述未涉及3DGS在SLAM中的潜力。基于此视角，本综述聚焦于3DGS-SLAM的优化策略。我们系统地审视了四个关键性能维度（渲染质量、跟踪精度、重建速度、内存消耗）的核心技术和代表性工作。此外，我们讨论了在处理运动模糊和动态场景时增强鲁棒性的方法。我们的目标是提供一个全面的参考，并促进以高保真度、高效性和鲁棒性为特征的下一代SLAM的发展。

图1. 典型SLAM地图表示与SLAM的演进。上方的子图展示了各类SLAM方法所实现的不同场景表示，突出了从简单的几何重建向丰富、视觉逼真的场景模型的转变。下方的面板呈现了SLAM的演进阶段：从早期的概率滤波器开始，经过关键帧与基于特征的增强，到深度学习与语义推理的融合，再到近期对NeRF的采纳，最终落脚于最新的3DGS方法——这也是本综述关注的重点。

背景

3D高斯泼溅方法

3DGS框架包含四个核心算法阶段：点云与高斯基元初始化、可微分投影、光栅化渲染、场景优化。

1. 点云与高斯基元初始化：系统以多视角图像及对应相机位姿为输入，通常使用运动恢复结构（SfM）生成稀疏点云作为初始化。从该点云出发，每个3D高斯泼溅体被初始化为具有位置、不透明度、协方差和颜色（通常由球谐函数表示）等参数的基元。

2. 可微分投影：给定相机位姿，系统首先剔除位于视锥体之外的高斯体。剩余的3D高斯体随后被投影到2D图像平面。给定视图变换矩阵，计算每个高斯体投影后的2D中心位置和协方差。

3. 光栅化渲染：为了渲染，3DGS使用基于图块的并行光栅化来避免昂贵的逐像素迭代。图像被划分为不重叠的像素块，系统识别哪些高斯体投影到每个图块上。每个图块并行处理：高斯体按深度排序形成有序列表。像素的颜色通过从前到后的Alpha混合投影高斯体获得。

4. 场景优化：3DGS的核心是优化高斯体以拟合场景。渲染图像后，计算渲染图像与真实图像之间的损失，并通过反向传播更新每个高斯体的参数。典型的损失是图像L1损失与结构相似性损失的加权和。为管理高斯体密度，3DGS采用自适应分裂与合并策略：在过度表示的区域（位置梯度小），高斯体被分裂为更精细的；在欠表示的区域（梯度大），则根据需要克隆新的高斯体。

3DGS与SLAM的集成

典型的3DGS-SLAM系统在四个主要阶段运行：初始化、相机跟踪、高斯建图、闭环优化。

1. 初始化：在第一帧，相机位姿设为单位矩阵，跳过跟踪。在高斯初始化期间，为每个图像像素创建一个高斯体：其颜色设为像素的RGB值，深度设为像素的测量深度，不透明度设为0.5。2D投影半径固定为一个像素，由此得到3D高斯体半径。

2. 相机跟踪：对于每一帧，使用恒定速度模型预测初始位姿。然后通过最小化光度-深度组合损失来优化位姿。损失总和仅针对那些"可见性分数"高的像素进行计算，确保优化仅使用已充分收敛的区域。跟踪后，满足阈值的帧被添加到关键帧队列以用于建图。

3. 高斯建图：每个新的关键帧对高斯地图做出贡献。获取每个关键帧的相机位姿和深度信息后，使用致密化掩码来确定哪些区域需要新的高斯体以补偿覆盖不足或前景变化。对于满足掩码条件的像素，以与初始化相同的方式添加新的高斯体。然后，所有高斯体进行局部联合优化，细化其位置、尺度、方向、颜色和不透明度，以最小化光度-深度组合损失。

4. 闭环优化：检测到闭环时，执行全局位姿图优化。使用构建的3DGS地图作为基础，固定或联合优化闭环帧及其共视关键帧的位姿，并重新优化闭环区域内高斯体的参数。这使得3DGS地图与闭环区域内的所有观测对齐，提高了全局一致性。

通过这些阶段，3DGS-SLAM系统将SLAM的鲁棒位姿估计与3DGS的高保真建图相结合，实现了实时高质量重建。

图3. 3D高斯泼溅通用流程图。该方法从稀疏点初始化出发，通过可微分光栅化渲染视图，并利用自适应优化迭代细化几何结构。

3DGS-SLAM的性能优化

渲染质量

在3DGS-SLAM中，渲染质量是重建的主要指标，因为高质量的渲染保留了对于AR/VR至关重要的精细场景细节。早期工作证明了3DGS可以在SLAM中实现高保真重建，但SLAM条件（稀疏视图、尺度模糊性、深度缺失）往往会降低质量。为了解决这个问题，提出了许多方法。我们将其分为五组进行讨论。

1. 混合显式-隐式表示：为了克服离散基元在捕捉连续表面和精细细节方面的局限性，这些方法将显式高斯体与隐式神经表示相结合。例如，Photo-SLAM、NGM-SLAM和DenseSplat利用神经场或NeRF子图来监督高斯体属性，有效填补稀疏扫描区域并通过体渲染增强纹理保真度。

2. 视觉引导感知：利用从渲染残差到结构和频率先验等视觉线索，来指导高斯体的自适应致密化和放置。基于残差的策略，如HF-SLAM和Gaussian-SLAM，通过监控颜色和深度误差来驱动优化并识别欠重建区域。为了改善结构一致性，MG-SLAM、2DGS-SLAM和SEGS-SLAM等方法利用几何约束。

3. 深度引导优化：准确的深度监督对于正则化几何和最小化伪影至关重要，特别是在无纹理或有噪声的区域。多个框架通过融合多源深度先验来增强3DGS：Splat-SLAM和DROID-Splat结合单目预测与多视图或伪RGB-D线索。其他方法如MGS-SLAM和MVS-GS依赖多视图立体（MVS）网络生成稠密深度图进行初始化。

4. 渐进式训练：为了在恢复精细细节的同时确保全局一致性，渐进式训练策略采用分层或多尺度优化框架。Photo-SLAM、NGM-SLAM和LVI-GS等方法利用图像金字塔或自适应体素合并，从粗略的全局结构到精细的局部纹理逐步细化重建。

5. 多智能体协作：协作系统通过将来自多个智能体的子图融合成统一的全局表示，提高了重建的可扩展性和保真度。这些方法侧重于鲁棒的数据集成和高效的通信。MAGiC-SLAM将场景划分为子图，并通过闭环检测将不同智能体生成的子图融合成统一的全局地图。GRAND-SLAM采用局部子图优化策略。

这些进展从表示、几何、感知、训练和系统架构的角度优化了3DGS-SLAM，从而在公开基准测试的PSNR和SSIM等渲染指标上带来了显著改进。

图4. 3DGS-SLAM通用流程图。系统以图像帧为输入，执行跟踪以估计位姿并选取关键帧。建图阶段对场景进行更新，随后通过闭环检测与优化确保全局一致性。

跟踪精度

跟踪精度对于3DGS-SLAM的稳定性和地图可靠性至关重要。高精度位姿估计确保了AR和机器人任务的地图构建准确性。虽然3DGS的高效渲染有助于实时建图，但快速运动、低纹理区域和动态干扰等SLAM挑战仍会导致位姿漂移。为提高跟踪精度，研究人员探索了三大类方法：局部优化、全局位姿图优化和全局光束平差（BA）优化。

1. 局部优化：这些方法旨在通过优化有限空间或时间窗口内的位姿来最小化短期漂移。常见策略包括基于窗口的联合优化。

2. 全局位姿图优化：为了纠正累积的长期漂移，这些方法构建全局图以强制关键帧或子图之间的一致性，主要由闭环检测触发。

3. 全局BA优化：虽然位姿图优化约束了位姿，但可能无法纠正所有几何漂移。因此，一些工作引入了全局BA来联合细化相机位姿和3DGS地图几何（高斯参数），以最大化光度和几何一致性。

总之，为了提高3DGS-SLAM系统的跟踪精度，研究在三个互补层次上进行了广泛研究：局部优化、全局图优化和全局BA。这些方法共同形成了一个连贯的优化流程，连接了局部稳定性和全局一致性，使3DGS-SLAM系统能够在复杂环境中实现更高的精度。

重建速度

重建速度是实时SLAM性能的关键指标。更快的建图意味着更快的响应能力和对动态环境的适应性。最近的研究主要在三个领域优化了3DGS-SLAM的速度：高斯初始化、高斯致密化、并行和硬件设计。

1. 高斯初始化加速：为了减少从随机或稀疏状态开始优化的计算成本，这些方法利用几何先验和高效采样，以更少的迭代次数实现更快的收敛。

2. 高斯致密化加速：高斯致密化涉及大量基元的持续创建、优化和更新。高斯数量的激增极大地增加了反向传播和体渲染的成本。为了解决这个问题，研究人员提出了选择性优化和分层管理来减少冗余。

3. 并行与硬件设计：为了充分发挥3DGS-SLAM的并行潜力并最大化系统吞吐量，最近的工作通过多线程解耦和特定硬件加速来优化架构。

这些进展的集成不仅提高了3DGS-SLAM的实时性能和重建精度，而且为其在移动和嵌入式平台上的实际部署奠定了坚实基础。

图5. 渲染质量优化方法总结。将代表性方法归纳为五种策略：1）混合表示：结合显式高斯体与隐式先验以实现鲁棒的初始化；2）视觉引导感知：利用视觉残差与结构线索指导基元致密化；3）深度引导优化：通过多视图立体或多元深度融合提升几何精度；4）渐进式训练：采用金字塔机制实现从粗到细的优化；5）多智能体协作：促进分布式智能体间的全局地图融合。

内存消耗

复杂场景会导致高斯体数量激增，从而产生高内存使用率。在不牺牲质量和速度的情况下控制地图大小是一个关键挑战。现有的研究探索了许多策略。我们将内存优化策略分类为三个互补的类别：高斯生成控制与稀疏化、分层地图分解、紧凑高斯编码。

1. 高斯生成控制与稀疏化：在大规模重建中，高斯基元的无限制增殖常常导致内存消耗过高。为了解决这个问题，当前方法实施严格的空间约束和自适应剪枝策略。

2. 分层地图分解：随着重建环境规模的扩大，维护单一的全局地图会因内存无限增长而变得计算上不可行。为了避免这种情况，这些方法将场景分布到可管理的子图或子图中。

3. 紧凑高斯编码：标准的3D高斯表示需要为数百万个基元存储高维属性，导致巨大的内存占用。为了应对这一点，最近的方法追求降维和隐式编码，以从根本上降低每个基元的存储成本。

总之，为了解决高斯表示快速扩张引起的内存开销，最近的3DGS-SLAM系统建立了一个跨越生成控制、结构管理和表示压缩的多层优化流程。通过结合智能生成控制、地图分解和紧凑编码，3DGS-SLAM系统有效地缓解了内存爆炸的挑战。

图8. 内存消耗优化方法总结。将这些策略归纳为三个模块：生成控制与稀疏化通过剪枝不显著的高斯体并限制致密化来减少冗余；分层地图分解通过将地图划分为可扩展的子图来管理大规模场景；紧凑高斯编码通过基于体素的锚定与残差向量量化对属性进行压缩。

总结

本综述全面回顾了3DGS与SLAM交叉领域的研究。我们详细阐述了3DGS-SLAM系统如何实现高保真和高效的建图，审视了推动下一代SLAM性能的关键优化和鲁棒性策略。通过系统梳理在渲染质量、跟踪精度、重建速度、内存消耗和鲁棒性方面的进展，我们突出了该领域多维度的进步。展望未来，新兴技术—如基于事件的感知、物理感知建模和大规模视觉模型—为进一步增强3DGS-SLAM提供了令人兴奋的途径。我们希望本综述能作为研究人员为复杂的现实世界应用构建更强大、更鲁棒的SLAM系统的基础。

以上内容如有错误请留言评论，欢迎指正交流。如有侵权，请联系删除