#  前言

本文介绍Mamba YOLO，为图片物体识别提供了“又快又准”的新方案。传统CNN架构运行快但难以捕捉远距离关联物体，Transformer架构精度高但计算量呈平方级增长，而SSM虽计算量为线性级且能抓全局关联，但用于图片识别时细节定位不准。为此，Mamba YOLO做了三项关键优化：引入ODMamba骨干网络，解决自注意力的二次复杂度问题，且无需预训练；设计ODMamba宏观结构确定最佳阶段比例和缩放大小；采用多分支结构的RG块建模通道维度，解决SSM在序列建模中的不足。在COCO数据集测试中，其小版本推理时间达1.5毫秒，mAP提高7.5%。 

 



# 介绍

 ![image-20251219230514248](https://developer.qcloudimg.com/http-save/yehe-1270482/6edac1df45a28b4e0bb5b7f804384a1b.png)



## 摘要





在深度学习技术的快速发展推动下，YOLO系列为实时目标检测器设立了新的基准。此外，基于Transformer的结构已成为该领域最强大的解决方案，大大扩展了模型的感受野并实现了显著的性能提升。然而，这种改进是有代价的，因为自注意力机制的二次复杂度增加了模型的计算负担。为解决这一问题，我们提出了一种简单而有效的基线方法，称为Mamba YOLO。我们的贡献如下：

1) 我们提出在ODMamba骨干网络中引入状态空间模型(SSM)，以线性复杂度解决自注意力的二次复杂度问题。与其他基于Transformer和SSM的方法不同，ODMamba易于训练，不需要预训练。

2) 针对实时性要求，我们设计了ODMamba的宏观结构，确定了最佳阶段比例和缩放大小。

3) 我们设计了采用多分支结构的RG块来建模通道维度，这解决了SSM在序列建模中可能存在的限制，如感受野不足和图像定位能力弱等问题。这种设计更准确且显著地捕捉了局部图像依赖关系。

在公开的COCO基准数据集上进行的广泛实验表明，与先前的方法相比，Mamba YOLO实现了最先进的性能。具体来说，Mamba YOLO的微型版本在单个4090 GPU上实现了1.5毫秒的推理时间，mAP提高了7.5%。PyTorch代码可在以下链接获取：https://github.com/HZAIZJNU/Mamba-YOLO



# 文章链接

 **论文地址：**[论文地址](https://arxiv.org/abs/2406.05835)

**代码地址：**[代码地址](https://github.com/HZAI-ZJNU/Mamba-YOLO)


> **文章目录： [YOLOv11改进大全：卷积层、轻量化、注意力机制、损失函数、Backbone、SPPF、Neck、检测头全方位优化汇总](https://blog.csdn.net/yolochangeworld/article/details/154960392)**

 

 


# 基本原理

 **Mamba YOLO**，简单说就是给“识别图片里物体”的技术搞了个“又快又准”的新方案，解决了之前同类模型的痛点。

## 1. 为啥要搞这个新模型？

之前做“图片物体识别”（比如识别照片里的车、人、动物）的模型有两个大问题，有点“鱼和熊掌不可兼得”：

- 一类是老款CNN架构（比如早期YOLO）：跑起来快，但只能关注图片局部，对“远距离关联的物体”（比如左上角和右下角的两只猫）捕捉不好，容易漏判或误判；
- 另一类是Transformer架构：能看清全局关联，精度高，但计算量是“平方级”的——图片越大、内容越复杂，计算量就暴涨，跑起来特别慢，没法满足“实时识别”（比如监控抓拍、自动驾驶）的需求。

后来出现了一种叫“SSM（状态空间模型）”的技术（比如Mamba架构），计算量是“线性级”的（图片变大，计算量稳步增加，不暴涨），还能抓全局关联，但它原本是用来处理文字的，直接套在图片识别上就“水土不服”——对图片的细节定位不准，也不会利用图片的多通道信息。

所以研究者就想：把SSM和YOLO结合，搞个“取长补短”的新模型，既快又准。

## 2. 新模型厉害在哪？（3个核心设计）

为了让SSM适配图片识别，研究者做了3个关键优化，相当于给模型“量身定制”了装备：

- **装备1：ODMamba骨干网络**：把SSM改成了适合图片检测的结构，不用像Transformer那样先在超大数据集上“预热训练”（省了很多时间和资源），计算量还是线性的，解决了“慢”的问题；
- **装备2：RG Block（残差门控模块）**：SSM擅长看全局，但看不清局部细节（比如物体的边角、纹理），这个模块就像“双摄像头”——一个分支抓全局特征，一个分支抓局部细节，还能通过“筛选机制”留下有用信息，让物体定位更准；
- **装备3：Vision Clue Merge（视觉线索融合）**：之前的模型缩小图片尺寸时，容易丢很多关键细节（比如小物体的轮廓），这个设计能在缩小图片的同时，保住更多视觉信息，帮模型更好地识别物体。

另外还做了个贴心设计：搞了“小（Tiny）、中（Base）、大（Large）”三个版本——手机端用小版本（省电快），服务器端用大版本（精度高），适配不同场景。

## 3. 实际测试效果咋样？（真·又快又准）

在公开的COCO数据集（相当于图片识别的“高考”）上测试，结果很亮眼：

- 小版本（Mamba YOLO-T）：在单块4090显卡上，1.5毫秒就能处理一张图（比眨眼睛快多了），精度比同级别其他模型高7.5%左右，而且需要的参数少了近一半（更轻量化）；
- 中版本（Mamba YOLO-B）：和同参数的模型比，精度高3.7%，跑起来还快1.8毫秒；
- 大版本（Mamba YOLO-L）：和当前最顶尖的模型比，精度差不多甚至更高，但参数更少、跑起来更快，而且图片越大，优势越明显（其他模型图片变大后会变慢，它还是稳步高效）。

更厉害的是，在复杂场景下（比如物体重叠多、背景乱、有遮挡），它也能准确识别，比其他模型表现更稳。

## 4. 总结一下

Mamba YOLO是第一个把Mamba（SSM架构）用到“实时物体识别”的模型，核心就是“让文字领域的高效技术适配图片任务”。它不用复杂的预热训练，还能灵活适配不同设备，既解决了老模型“慢”或“不准”的问题，又填补了SSM在图片检测上的空白，给监控、自动驾驶、手机拍照识别等需要“又快又准”的场景，提供了一个更好的选择。

![在这里插入图片描述](https://developer.qcloudimg.com/http-save/yehe-1270482/f97380cc187a581be385f7670a4fc92a.png)

   




本文介绍Mamba YOLO，为图片物体识别提供了“又快又准”的新方案。传统CNN架构运行快但难以捕捉远距离关联物体，Transformer架构精度高但计算量呈平方级增长，而SSM虽计算量为线性级且能抓全局关联，但用于图片识别时细节定位不准。为此，Mamba YOLO做了三项关键优化：引入ODMamba骨干网络，解决自注意力的二次复杂度问题，且无需预训练；设计ODMamba宏观结构确定最佳阶段比例和缩放大小；采用多分支结构的RG块建模通道维度，解决SSM在序列建模中的不足。在COCO数据集测试中，其小版本推理时间达1.5毫秒，mAP提高7.5%。

YOLOv11 改进 - 主干网络| 集成Mamba-YOLO（AAAI 2025），Mamba-YOLOv11-T 替换骨干，破解全局依赖建模难题，实现高效实

本文介绍Mamba YOLO，为图片物体识别提供了“又快又准”的新方案。传统CNN架构运行快但难以捕捉远距离关联物体，Transformer架构精度高但计算量呈平方级增长，而SSM虽计算量为线性级且能抓全局关联，但用于图片识别时细节定位不准。为此，Mamba YOLO做了三项关键优化：引入ODMamba骨干网络，解决自注意力的二次复杂度问题，且无需预训练；设计ODMamba宏观结构确定最佳阶段比例

人工智能

算法

客户端

MambaYOLO创新融合SSM与YOLO架构，实现高效目标检测。通过ODMamba骨干网络解决Transformer二次复杂度问题，RGBlock多分支结构精准捕捉局部特征，VisionClueMerge保留关键视觉信息。在COCO测试中，Tiny版仅1.5ms推理时间，mAP提升7.5%，参数减少50%，为实时检测提供全新解决方案。

深度学习

自动驾驶

大数据

服务器

2026新春采购季

bigdata-class

4核4G3M云服务器 新用户低至38元/年！

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云AI代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

功能1上新10个字符

功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符。

功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符。

功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符

功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符

功能4上新

文章&问答评论现已支持表情

全新交互，全新视觉，新增快捷键、悬浮工具栏、高亮块等功能并同时优化现有功能，全面提升创作效率和体验

社区富文本编辑器全新改版！诚邀体验～ 

精选全网热门MCP server，让你的AI更好用 🚀

💥开发者 MCP广场重磅上线！

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

MambaYOLO创新融合SSM与YOLO架构，实现高效目标检测。通过ODMamba骨干网络解决Transformer二次复杂度问题，RGBlock多分支结构精准捕捉局部特征，VisionClueMerge保留关键视觉信息。在COCO测试中，Tiny版仅1.5ms推理时间，mAP提升7.5%，参数减少50%，为实时检测...

YOLOv11 改进 - 主干网络| 集成Mamba-YOLO（AAAI 2025），Mamba-YOLOv11-T 替换骨干，破解全局依赖建模难题，实现高效实-腾讯云开发者社区-腾讯云

YOLOv11 改进 - 主干网络| 集成Mamba-YOLO（AAAI 2025），Mamba-YOLOv11-T 替换骨干，破解全局依赖建模难题，实现高效实

YOLOv11 改进 - 主干网络| 集成Mamba-YOLO（AAAI 2025），Mamba-YOLOv11-T 替换骨干，破解全局依赖建模难题，实现高效实

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐