首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >后训练进入 “任务‑反馈‑整合” 新周期

后训练进入 “任务‑反馈‑整合” 新周期

原创
作者头像
马越太平洋
发布于 2026-10-29 09:45:16
发布于 2026-10-29 09:45:16
2550
举报
文章被收录于专栏:AI大趋势AI大趋势

过去很长一段时间,大模型后训练的认知被 SFT、RLHF 占据:收集问答样本,做监督微调,再基于人类偏好做强化学习,模型学习的对象大多是静态问答样本。

但 2026 年一批主流开源模型的公开技术报告揭示了一个关键转折:后训练的重心,已经从静态样本,转向带环境、工具反馈、资源约束的完整可执行任务。

后训练不再只是调优回答风格、对齐人类偏好,整套系统演变为一套完整闭环:任务与环境 → 策略执行 → 验证评审 → 更新整合。模型学习的不再只是一行行文本答案,而是在真实或者仿真环境中完成多轮行动、接收工具反馈、处理失败、在预算约束下完成目标的完整轨迹。MOE、OPD/MOPD、Harness、多教师蒸馏、仿真世界模型等技术,都是这条演进路上的关键工程构件。对于架构师而言,看懂后训练的底层范式迁移,才能更好理解 Agent、公司本体、脚手架消融这些远期推演背后的技术底座。

01 范式切换:从静态样本,到可执行任务闭环

传统 SFT 与早期 RLHF,输入是问答对样本,模型学习 “输入应该输出什么文本”。最大短板:很难教会模型处理多轮交互、工具调用、失败重试、长程决策。模型见过正确答案,但没有见过失败状态,不知道做错之后如何恢复。

新一代后训练,训练的基本单元已经不再是一条 prompt‑answer 样本,而是任务 + 可运行环境 + 验证器的完整任务包。

  • 任务:明确目标、难度分层;
  • 环境:容器、工具接口、仿真世界模型,允许模型执行动作、拿到反馈;
  • 验证器:不只是看文本写得好不好,检验任务是否真正被完成,区分执行失败、环境故障、验证失真。

DeepSeek‑V4.1 把主要后训练资源投入在任务、环境、验证系统的生产;Qwen‑AgentWorld 构建世界模型,通过仿真环境制造大量交互机会;MiMo 做混合任务 rollout 与质量评审。它们共同的思路:在大量采样轨迹之前,先要保证任务可执行、结果可判断、错误可以转化为学习信号,训练的有效规模,由任务、反馈、执行系统中最弱一环决定。

一个重要认知更新:只保留成功轨迹做训练,会丢掉失败恢复能力。GLM‑5 系列的实践给出参考:训练集合保留错误造成的状态上下文,但不去模仿错误动作。让模型 “看见失败之后的局面”,但不去放大错误行为,以此学习故障之后如何恢复,而不是只会一帆风顺的理想场景。

仿真环境在这里扮演双重角色:可以低成本扩展任务变体,但廉价的仿真不等于有效训练反馈。Qwen‑AgentWorld 实验表明,如果模拟器泄露答案、随意篡改工具状态,模型会学会现实不存在的捷径。仿真训练必须维护信息可见性、动作后果、状态一致性,训练之后仍然要拿到真实环境做有效性校验。

02 学习信号升级:从简单对错,走向多层次质量比较

当训练对象变成可执行长任务,简单 “对 / 错” 二元奖励已经不够用。同样测试通过,也存在解法优劣、工具调用是否冗余、行为是否合规的巨大差异。

当下主流方案把反馈拆解成多层信号并行使用:

  1. 程序 / 执行验证:单元测试、状态校验,用来判断客观结果是否达成;
  2. 生成式评审 GenRM / Rubric 打分:评估完整性、专业性、可维护性,处理难以写成代码的质量标准;
  3. 组内候选对比:同一个任务多条候选轨迹互相比较,区分多种可行方案之间的优劣;
  4. 行为约束信号:拦截越权、无效重复调用、格式错误;
  5. 教师策略信号:导入领域专家教师的动作偏好,同时兼顾已有能力不要退化。

MiMo 提出 GRS/GAR 机制:测试失败直接置零奖励;测试通过之后,再对不同质量的成功解重新分配优势权重,鼓励更干净高效的解法,而把粗劣但可以跑通的方案权重压低。

OpenAI Ironclad 专业工作流实践进一步证明:面向专业业务,要把业务要求拆解成一条条可验收标准,模型在托管环境练习,而不是只靠一句笼统的 “把这件事做好” 作为奖励目标。

这里架构师需要关注一个工程现实:评审 Judge 本身会带来偏差。奖励上涨不等于真实业务能力上涨,有可能只是模型学会讨好评分规则。因此训练全过程必须持续审计奖励信号,区分任务真实提升与对评审器的过拟合。

03 策略优化:长程任务、信用分配与推理预算训练

长程 Agent 任务一大痛点:只有最终任务成败,很难知道中间哪一步动作真正带来收益。业界大量优化器:GRPO、DAPO、GSPO、CISPO,本质处理的就是:多条多轮轨迹,如何把终局的成败,合理分配给每一步动作,同时控制样本陈旧、长度爆炸、异常更新等问题。

其中一个非常有启发性的演进方向:把推理预算(effort)纳入训练过程。

过去我们推理端靠硬截断 token 上限,强制模型停止;现在 Kimi K3、DeepSeek‑V4.1 等模型直接在训练阶段就学习:在多少时间、多少次工具调用的预算下完成任务。模型学会权衡:继续搜索带来的预期收益,对比时间、成本、副作用风险,自主判断何时应该停止,而不是非要跑到上限被强行切断。

这对企业落地的启示:评估 Agent,不能只看能不能跑完任务,还需要看完成任务的总成本,包含重试、工具调用、时延、失败占比,绘制质量‑成本曲线,而不是只看单一 pass@n 指标。

同时训练系统层面必须解决异步训练带来的分布偏移:异步 rollout 可以提升算力利用率,但会带来 “短任务优先被训练、旧策略样本混入训练集”。Forge、MiMo 等工程方案使用窗口 FIFO、样本年龄约束、重要性权重掩码,来缓解这类统计偏差;并且强调:采样引擎和训练引擎之间,必须保证概率、精度、MoE 路由回放的一致性,否则训练信号会失真,再好的算法也发挥不出价值。

04 能力整合:多教师 OPD/MOPD,解决专长融合与能力遗忘

当我们通过 RL 训练出一批领域专项教师模型:代码教师、工具调用教师、不同预算策略教师,如何把多种专长安全的合并回一个主模型,同时不丢失老能力,是 2026 后训练领域最大热点之一,On‑Policy Distillation(OPD)以及多教师 MOPD 就是这套解法的核心。

离线蒸馏是拿教师已经写好的轨迹给学生模仿;OPD/MOPD 逻辑完全不同:学生自己生成执行状态,教师针对学生真实踩出来的状态给出指导信号。教师看到的是学生真实遇到的难题、真实犯下的错误,而不是理想化的示范样本。Kimi K3 使用 3 领域 ×3 档位预算共 9 个教师;DeepSeek‑V4.1 使用 40 余个不同专项教师;Nemotron 3.5 Super 进一步解决整合过程的能力退化问题。

随之而来的风险:新的领域教师,可能会破坏模型已经掌握的旧能力,出现灾难性遗忘。

行业出现两类关键技术来对抗负向迁移:

  1. Proximal teacher(平滑教师):混合冻结的学生原有分布,给负向更新信号设置下界,避免新教师强力抹除旧行为;
  2. Self‑anchor 自锚定:拿训练前冻结的模型版本作为基线锚点,约束已有能力不要漂移。

同时出现 “专项教师做故障修复” 的工程范式:把部署中发现的失败样例收集起来,训练小范围专项教师,通过 MOPD 合并入主模型。MiMo 复盘工具调用重复问题的案例显示:相比大规模混合 RL,定向专项修复成本更低,更容易定位副作用,适合线上问题闭环迭代。

关键点:多教师训练,不等于推理的时候要同时跑一大堆模型;教师只存在训练阶段,最终得到的是单一统一部署策略。

05 对架构师的现实启示:后训练演进映射企业本体的未来

这套开源大模型后训练的演进,不仅仅是算法实验室内部的技术,它和我们之前推演的公司模型、企业本体、脚手架消融存在底层逻辑同源。

1、训练范式启示本体构建逻辑

开源模型后训练已经不再靠一次性灌入静态文档样本,而是:可执行任务 → 环境交互产生轨迹 → 获取多层次反馈 → 更新模型,失败也要纳入学习过程。映射到企业本体,本体进化也不是一次性导入全部制度文档,而是在真实业务执行中产生轨迹,接收业务反馈,识别失败与冲突,完成持续迭代,使用即训练,使用即构建本体。

2、Harness 驾驭工程与后训练 Harness 概念双向呼应

模型后训练的 Harness,是工具接口、上下文管理、执行约束、环境沙盒;而企业侧 Harness Engineering,是本体运行的护栏、权限、审计、校验闭环。两者内核一致:模型能力越强,外围的执行环境、约束、反馈闭环的设计,权重就越高,而不是只追求模型本身参数规模。

3、看待 Agent、Skill、DataBuddy 心态需要调整

今天大量企业 AI 能力,是外挂 Skill、Agent 编排层;从后训练演进路线看,长期一部分外挂能力会通过后训练内化到模型原生行为;但短期,Harness、Skill、Agent 编排依然是落地的必经脚手架,不要把阶段性工具当成终局架构,也不要否定它当下的价值。

4、评测思维必须升级,拒绝唯榜单论

GLM‑5.2 到 GLM‑5.3 同底座对照实验非常有启发性:底座不变,仅靠整套后训练,SWE、终端任务得分获得巨大提升。架构师评估大模型,不能只看公开榜单数字,需要建立自己的企业任务集、可执行验证器,关注质量‑成本权衡、失败恢复能力、能力退化风险。

5、迭代闭环思想可复用

后训练的闭环:部署发现失败 → 沉淀任务样例 → 专项教师训练修复 → 整合回主模型。企业 AI 体系也可以借鉴这套闭环:线上本体 / Agent 暴露出业务问题,转化为本体的更新素材,完成持续新陈代谢。

06 理性看待边界,后训练不是万能银弹

我们同样需要看到这套路线的现实约束:

1、高质量可执行任务、可靠验证器建设成本极高,任务生产、环境、评审任何一环质量下滑,后训练收益直接归零;

2、异步训练、量化、MoE 路由、仿真‑现实差距,都会带来分布偏移,并不是堆更多 RL 步骤就一定涨分;

3、能力保持(对抗遗忘)依旧是巨大工程难题,新增专项能力,总伴随着旧能力退化风险;

4、后训练解决模型行为,但高等级合规、细粒度权限、强审计溯源,依旧离不开外部 Harness 安全底座,不能指望全部内化进模型参数。

结语

大模型后训练已经跨过 “静态样本做对齐” 的时代,演进为一套完整的任务‑环境‑执行‑评审‑更新整合学习系统。OPD/MOPD、Harness、仿真世界模型、预算感知强化学习,共同推动模型从只会回答文本,走向可以处理长程多轮、会失败、会恢复、懂得权衡成本收益的智能体。

对于架构师群体,读懂这条技术演进脉络,能帮助我们区分短期工程脚手架和远期终局形态。今天的 Agent、Skill、Harness 是落地必备手段;而远期,部分能力会通过类似后训练的路径,逐步内化为模型原生能力。企业的公司本体,也会复刻相似逻辑:不是一次性建设完成,而是在一次次真实业务执行、接收反馈、处理失败中持续生长。

技术推演不等于当下落地指南,架构师既要用好当下全套工程工具落地业务,也要看懂底层技术浪潮,为中长期企业 AI 演进做好能力储备。

本文基于公开开源技术报告做趋势解读,所有观点为行业思辨,不代表产品落地标准。

配套 4 张浅蓝色科技矢量配图提示词(公众号插图,无水印)

图 1|封面总览:新一代后训练闭环链路(任务‑环境‑执行‑验证‑更新)

Prompt:扁平化矢量科技插画,浅蓝主色调,简约干净。环形闭环流程图,节点分别标注任务与环境、策略执行、验证评审、更新整合;箭头形成循环,背景淡蓝色渐变,大量留白,商务技术风,无水印,适合文章开篇头图。

新一代后训练完整闭环,训练对象从静态样本升级为可执行交互任务。

图 2|传统后训练 VS 新一代后训练对比

Prompt:扁平化矢量科技插画,浅蓝配色,左右分栏对比。左侧:传统模式,输入输出静态问答样本;右侧新模式:任务包 + 可运行环境 + 验证器,产生多轮交互轨迹。极简线条,浅蓝背景,无水印。

范式迁移:从静态样本学习,走向带环境反馈的完整任务学习。

图 3|MOPD 多教师能力整合示意图

Prompt:扁平化矢量科技插画,浅蓝科技风。多个领域专项教师(代码、工具、预算策略),学生模型生成状态,教师给出指导信号,最终融合成单一统一部署模型;教师仅存在训练阶段。干净矢量,无水印。

MOPD 多教师在线蒸馏:训练阶段引入各领域专长教师,推理部署得到单一主模型。

图 4|技术映射:开源后训练技术启示企业本体演进

Prompt:扁平化矢量科技插画,浅蓝简约。左侧:开源大模型后训练闭环;右侧映射企业本体闭环:业务任务、业务环境、本体执行、业务反馈、本体迭代;两边逻辑对齐,抽象符号,无人物,无水印。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

目录
  • 01 范式切换:从静态样本,到可执行任务闭环
  • 02 学习信号升级:从简单对错,走向多层次质量比较
  • 03 策略优化:长程任务、信用分配与推理预算训练
  • 04 能力整合:多教师 OPD/MOPD,解决专长融合与能力遗忘
  • 05 对架构师的现实启示:后训练演进映射企业本体的未来
  • 06 理性看待边界,后训练不是万能银弹
  • 结语
    • 配套 4 张浅蓝色科技矢量配图提示词(公众号插图,无水印)
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档