 
跳过88%的专家，保住97%的性能，推理速度翻倍——这项研究刚刚被CVPR接收
 
![image](https://developer.qcloudimg.com/http-save/yehe-11874468/225c3fee73a69e7ab0ef96e03c80e030.png)
 
你有没有这种感觉：现在的AI越来越聪明，但也越来越“能吃”？
一个能看图能聊天的多模态大模型，跑一次任务要调动几十上百个“专家”一起干活，算力消耗大得吓人。这也是为什么很多炫酷的AI功能只能跑在云端，手机里根本装不下。
但3月5日，港科大团队放出一项被CVPR接收的新研究，可能会改变这个局面。
 
## 让AI学会“偷懒”：88%专家可以放假

 
这项研究叫MoDES（多模态动态专家跳过框架），名字有点绕，但核心逻辑特别简单——让AI学会“偷懒”
想象一下，你是一家大公司的老板，手下有100个专家。以前处理任何任务，你都要把所有专家叫来开会，不管这件事多简单。是不是特别浪费？
MoDES做的就是：只叫该来的人。
在Qwen3-VL-MoE-30B模型上的测试显示，MoDES能智能跳过高达88%的冗余专家，同时还能保留97.33%的原始性能。换句话说，AI干活只用原来1/10的人力，但活儿干得一点不差。
![image](https://developer.qcloudimg.com/http-save/yehe-11874468/51fbbc33c9292db95848c700f2c7a7a4.png)
## 为什么以前做不到？两个关键洞察

你可能会问：让AI“少干活”这事，以前没人想过吗？
想过。但以前为纯文本模型设计的专家跳过方法，放到多模态模型上就失灵了——跳过比例一高，性能直接崩盘。
港科大团队没有直接扔出新方案，而是先问了一个根本问题：为什么以前的方法在多模态模型上会失效？
论文给出了两个关键发现
### 洞察一：不同层的专家，重要性天差地别

以前的方法只看当前层的路由概率来判断专家是否重要，但实验发现：浅层专家的作用远比深层专家关键。
如果按统一规则跳过，很容易把浅层的关键专家也删掉——而浅层的误差会在后续层被不断放大，最终导致性能崩溃。这就像盖房子，地基的柱子抽掉了，楼上再漂亮也得塌。
### 洞察二：文字和图片，在AI眼里是两种生物

团队进一步分析了不同模态token的行为差异，发现：
                 ● 文本token对专家很“挑剔”，专家对文本更新的影响幅度明显更大
                 ● 视觉token存在大量冗余，专家对视觉的影响相对较小
以前的方法不分青红皂白，对文字和图片一刀切——结果就是，要么为了保护文字不敢跳过，要么跳太多把关键专家也删了。
![image](https://developer.qcloudimg.com/http-save/yehe-11874468/9039724ce52e2fb1b83b34412dda7490.png)
## MoDES的解法：给不同人不同待遇

基于这两个洞察，MoDES的核心机制可以拆解为三个设计：
### 1. 全局调制局部门控（GMLG）

不再只看当前层的局部概率，而是引入一个全局重要性因子——通过离线校准，量化每一层专家对最终输出的整体贡献。
新的专家重要性分数由“局部路由概率”和“全局因子”共同决定。这样，浅层专家会被更保守地保留，深层专家可以更激进地跳过。
### 2. 双模态阈值（DMT）

为文本token和视觉token分别设定不同的跳过阈值。
对关键的文字部分，小心翼翼；对冗余的视觉部分，大胆跳过。就这么一个简单的“区别对待”，效果立竿见影。
### 3. 前沿搜索算法

要找到最优的阈值组合，原本需要跑好几天。MoDES设计了一个利用单调性性质的前沿搜索算法，把搜索时间从几天压缩到几小时，缩短约45倍。
![image](https://developer.qcloudimg.com/http-save/yehe-11874468/4ba4c2afb2ff406274794bf20c57d07d.png)
## 硬核数据：不止一家模型验证

MoDES的效果不止在一个模型上验证。
在Kimi-VL-A3B-Instruct上，跳过83%专家时，现有方法性能平均掉超11%，而MoDES仍保留96.25%的原始性能。
在更大的Qwen3-VL-MoE-30B-A3B-Instruct上，跳过88%专家时，对比方法只保住86.66%和85.30%的性能，而MoDES仍然保住97.33%。
在13个图像与视频理解基准上，MoDES均取得最优或接近最优表现。
![image](https://developer.qcloudimg.com/http-save/yehe-11874468/65a6224501d13069259579a42407626c.png)
## 还有个隐藏福利：和量化可以叠加

MoDES是免训练框架，推理阶段不引入额外计算开销。
更重要的是，它和低比特量化兼容性良好——两者可以从结构和数值两个层面形成互补，共同降低计算成本。这意味着你可以“跳过+压缩”双管齐下，把模型塞进更小的设备。
## 这件事为什么值得你关注？

你可能不是技术人员，不需要知道MoDES的代码怎么写，但这件事背后的趋势，值得你留意一下：
大模型的竞争，正在从“拼参数”转向“拼效率”。
以前谁家模型参数大、谁烧的钱多，谁就更牛。但现在大家发现，这条路快走不下去了——参数量再翻几倍，电费都交不起。
MoDES代表的是另一条路：不堆参数，堆架构。让模型学会“聪明地偷懒”，用更少的资源干一样的活。
团队在论文最后说了一句话很有意思：MoDES证明了一件事——即便跳过80%以上的专家，只要跳得足够“聪明”，模型性能依然可以稳定保持。
这条路，才是大模型能真正“飞入寻常百姓家”的关键。
## 最后说两句

港科大的这项研究，不是什么“颠覆式创新”，也没有什么花里胡哨的概念。
它做的就是一件事：先把多模态模型推理时的“浪费”找出来，然后精准地砍掉。
有点像整理房间——不是把东西全扔掉，而是把不常用的收起来，常用的摆在手边。房间还是那个房间，但住起来舒服多了。
如果你想持续跟进这类大模型的前沿进展和落地实践，可以关注LlamaFactory Online——第一时间体验最新模型的微调效果，看看这些“效率突破”在实际中跑起来什么样。
后续我们会继续拆解更多AI前沿，不造概念、不夸大，只讲真实的技术和价值。

跳过88%的专家，保住97%的性能，推理速度翻倍——这项研究刚刚被CVPR接收  你有没有这种感觉：现在的AI越来越聪明，但也越来越“能吃”？一个能看图能聊天的多模态大模型，跑一次任务要调动几十上百个“专家”一起干活，算力消耗大得吓人。这也是为什么很多炫酷的AI功能只能跑在云端，手机里根本装不下。但3月5日，港科大团队放出一项被CVPR接收的新研究，可能会改变这个局面。

港科大这个AI突破，让大模型学会“偷懒”了

多模态大模型推理效率低？港科大最新研究MoDES，让AI学会“偷懒”——跳过88%冗余专家，保住97%性能，推理速度翻倍。这项被CVPR接收的突破，正在让大模型从“拼参数”转向“拼效率”。

技术架构师

人工智能

云计算

算法

港科大团队提出MoDES框架，可智能跳过88%冗余专家，保留97%性能，推理速度翻倍。该研究针对多模态大模型效率问题，通过全局调制、双模态阈值等创新设计，实现精准跳过冗余计算。实验显示在多个模型上性能稳定，且能与量化技术叠加使用，为大模型落地移动端提供新思路。

视频理解

路由

2026新春采购季

ivld

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云AI代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

功能1上新10个字符

功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符。

功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符。

功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符

功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符

功能4上新

文章&问答评论现已支持表情

全新交互，全新视觉，新增快捷键、悬浮工具栏、高亮块等功能并同时优化现有功能，全面提升创作效率和体验

社区富文本编辑器全新改版！诚邀体验～ 

精选全网热门MCP server，让你的AI更好用 🚀

💥开发者 MCP广场重磅上线！

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

港科大这个AI突破，让大模型学会“偷懒”了-腾讯云开发者社区-腾讯云

港科大这个AI突破，让大模型学会“偷懒”了

港科大这个AI突破，让大模型学会“偷懒”了

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐