端云协同在大模型推理中如何发挥作用？

1. 任务切分与模型切分

端云协同通过两种切分策略优化大模型推理效率。任务切分是将完整的 AI 工作流切割为多个子任务，目前主要以静态切分为主，未来将朝动态任务切分方向发展。模型切分是将 AI 模型沿网络结构切分为多个子模型，中国电信已在探索边缘算力与云侧算力的模型切分来实现 Prompt 不出域的安全推理方案。

2. Token 调度与消耗优化

荣耀 YOYO Claw 技术通过"端云协同、端侧优先"及 Token 调度引擎，将综合词元消耗降低 50%。其核心逻辑是简单查询、高频交互在端侧小模型完成，复杂推理才调用云端大模型。智慧园区等多设备协同场景通过工具描述优化等技术将词元消耗降低 40% 至 70%，并实现本地推理零云端词元费用。

3. 离线大模型推理

南航在 2026 年完成端侧离线大模型 2.0 版本升级，获得中国互联网协会的团体标准认证。该升级依托云端协同、量化加速、架构创新等技术，面向民航客舱服务、机务维修等场景，强化了无网络环境下的智能服务能力。这表明端云协同不仅服务于在线场景，也能有效支撑离线状态下的大模型推理。

4. 端云协同推理框架

智能辅助诊断系统的云边大模型协同推理框架采用分层架构设计，边缘侧部署轻量化医疗大模型支持本地快速推理，云端汇聚通用大模型与医疗垂直大模型。智能体经语义解析提取关键特征后，动态决策推理节点——若分配至边缘侧则直接返回结果，若需云端处理则先通过动态语义脱敏匿名化敏感字段再上传，有效规避隐私泄露风险。