使用深度学习功能的SLAM系统？

Question

有没有人尝试过开发一个使用深度学习功能而不是经典的AKAZE/ORB/SURF功能的SLAM系统？

扫描最近的计算机视觉会议，似乎有相当多的报告成功地使用神经网络来提取特征和描述符，基准测试表明，它们可能比经典的计算机视觉等效物更健壮。我怀疑提取速度是一个问题，但假设一个人有一个像样的图形处理器(例如NVidia 1050)，那么在640x480灰度图像上构建一个实时SLAM系统(比方说30FPS )具有深度学习特征是否可行？

Answer 1

这篇评论有点太长了，这就是为什么我把它作为答案发布。

我认为这是可行的，但我看不出这有什么用。原因如下(如果我错了，请纠正我)：

对于大多数SLAM管道，精度比长期健壮性更重要。你显然需要你的特征检测/匹配是精确的，以获得可靠的三角测量/束(或任何你可能使用的等效方案)。然而，只有在长时间间隔进行重新定位/环路闭合的系统(例如，需要在不同季节进行重新定位等)时，才需要神经网络提供的高水平鲁棒性。即使在这种情况下，因为你已经有了图形处理器，我认为最好使用场景的光度(或者只是几何)模型，因为对于神经网络检测到的特征，localization.

• We没有任何可靠的噪声模型。我知道有一些有趣的作品(Gal，Kendall，等等)用于在深度网络中传播不确定性，但这些方法对于SLAM系统的部署似乎有点不成熟。

• Deep学习方法通常对系统的初始化很好，它们提供的解决方案需要改进。它们的结果太依赖于训练数据集，在实践中往往是“碰碰撞撞”的。所以我认为你可以相信他们会得到一个初始的猜测，或者一些约束(例如，在姿态估计的情况下:如果你有一个随时间漂移的几何算法，那么你可以使用神经网络的结果来约束它们。但我认为前面提到的噪声模型的缺失将使融合在这里变得有点困难...)。

所以，是的，我认为这是可行的，你可能会通过仔细的工程设计和调整来产生一些有趣的演示，但我不会相信它在现实生活中。