腾讯混元大模型体系与TI平台企业级精调推理能力概要

数据来源：腾讯全球数字生态大会（Tencent Global Digital Ecosystem Summit）城市峰会，演讲人：程雪璨（腾讯云智能解决方案专家）

一、产品定位与核心亮点

腾讯混元是由腾讯自研的大模型体系，定位为构建企业高质量AI基座的核心技术底座。其核心技术属性在于向智能的深度（推理、认知）与广度（多模态交互）持续演进。

商业差异化卖点：

• 全栈模型矩阵：涵盖从深度思考模型（混元 T1）到快思考模型（混元 TurboS）的全场景覆盖。
• 多模态物理世界交互：具备视觉理解、3D生成、端到端语音及游戏视觉等能力。
• 实战级开发平台：依托腾讯云TI平台（TI-ONE），提供从数据准备到训推一体的企业级工具链。

二、产品应用场景

针对具备一定算法知识和开发能力的AI工程师及企业技术团队，解决以下业务痛点：

三、应用框架和功能介绍

1. 功能框架：腾讯云TI平台（TI-ONE）

TI-ONE定位为面向实战的大模型开发平台，核心架构包含：

• 实用工具链：覆盖全链路开发。
• 高效数据准备：支持多模标注与自动化构建。
• 稳定训练调度：支持长时任务保障与故障恢复。
• 模型评测与部署：提供3阶段评测与易用可靠的部署方案。

2. 硬核指标

• 推理性能（Angel加速套件）：
  • 首Token延时：< 2s
  • 吐字速率：>= 20 Tokens/s
  • QPM（每分钟请求数）：典型场景下达到 100+（行业领先）。
  • 测试环境：输入3.5K、输出1K，2机16卡配置。
• 资源调度（训推一体）：
  • AI研发提效：50%以上
  • 资源利用率提升：80%以上
• 上下文能力：支持 128K tokens 长上下文多轮交互。

3. 产品优势

• 数据构建：全开源可扩展的数据构建pipeline；自适应可配置的多模标注。
• 训练保障：故障主动恢复的长时任务保障；内置100+场景的精调配比数据。
• 调度能力：支持训推一体潮汐调度，在线推理闲时算力用于离线训练；支持严格先进先出与灵活开启抢占策略。
• 技术底座：集约算力管理，运用GPU虚拟化技术和分布式计算框架；原生支持强化学习（RL）。
• 推理加速：Angel加速套件支持MPT并行解码、计算与通信融合、双引擎（SLang/vLLM）。
• 自动驾驶支持：原生支持BEVformer、FastBEV等自驾模型训练。

4. 荣誉背书

• 混元 TurboS：在Chatbot Arena综合排名中位列 全球#8；理科能力全球Top10。
• 能力指标：理科推理提升超10%，代码能力提升24%，竞赛数学提升39%。
• 混元 3D：Hugging Face模型下载量超 160万。

四、典型案例

1. 场景实践：AI搜索与角色扮演

• 背景：AI搜索场景在表格检索、数据库检索效果不佳，答案准确率待提升；V3/R1原模型在角色扮演场景下存在“括号文学”、内容单一重复问题。
• 解决方案：
  • AI搜索：集成R1优化阅读理解能力，同时使用DeepSeek coder训练Text2SQL模型。
  • 角色扮演：基于V3模型进行SFT（监督微调）精调专属模型。
• 成效：
  • AI搜索：答案准确率提升 5%以上，支持 128K tokens 长上下文。
  • 角色扮演：模型对角色指令遵循能力提升，借助V3拥有更全更新的知识储备，激发出更丰富的剧情和更准确的IP角色对话。

2. 场景实践：知识问答

• 背景：V3/R1原模型指令遵循弱，导致不按内部文档库回答（如忽略业务场景过度推理、超出已知内容时根据模型自身知识回答）。
• 解决方案：结合指令遵循和阅读理解数据对V3/R1进行SFT/DPO训练。
• 成效：
  • 安全可控：回答安全可控，不做过度推理。
  • 推理高效：模型推理过程简洁高效（对比精调前冗长的思维链，精调后直接输出结论）。

3. 场景实践：交互式Agent

• 背景：V3/R1指令遵循能力较差，表现为“不听话”。
• 解决方案：
  • 方案一：仅利用R1长思维链（Long CoT），借助Instruct模型（如qwen2.5-72B-Instruct、LLaMA 3.3-70B-Instruct）给出最终答案。
  • 方案二：结合Agent关注的指令遵循能力数据集，使用SFT、DPO/GRPO微调R1或R1蒸馏版模型。
• 成效：
  • 方案一对比：llama-70B_ds-R1相比llama3-3_70B-Instruct，在指令遵循评测（如CFBench、FollowBench）中表现有波动，需结合业务选择。
  • 方案二提升：使用数据飞轮技术针对性构建指令遵循训练集，微调效果确认提升 +3.6%。

五、混元大模型全系矩阵更新

六、开源与生态

• 全系列开源：包括 Hunyuan-DiT（图像）、Hunyuan-Large（文本）、Hunyuan-Video（视频）、Hunyuan-3D。
• 企业级混合推理模型：面向AI工作站（7B-14B）、AI服务器（MoE 80-A13B、32B）。
• 端侧混合推理模型：面向端侧（0.5B-4B）及边缘计算场景。