首页
学习
活动
专区
圈层
工具
发布
技术百科首页 >RLHF >监督微调(SFT)在 RLHF 中起什么作用?

监督微调(SFT)在 RLHF 中起什么作用?

词条归属:RLHF

SFT 是 RLHF 流程中连接"预训练"与"强化学习"的桥梁,承担打基础与定方向的作用。

1. 建立基本的作答行为

  • 预训练模型只会续写文本,SFT 通过大量"提示—示范答案"配对,教会模型按用户指令组织回答
  • 让模型掌握特定任务的输出格式与行为规范,例如礼貌作答、分步推理、结构化呈现等

2. 为强化学习提供合理起点

  • 若跳过 SFT 直接做强化学习,模型输出空间过于发散,策略优化难以收敛
  • SFT 先把模型输出方向大致校准到"合理回答"区间,后续 PPO 只需在此基础上精修偏好对齐

3. 作为对齐流程的参考基准

  • SFT 后的模型在后续阶段常作为冻结的参考策略,用于计算 KL 散度约束
  • 它既是强化学习的初始化点,也是防止策略偏离过远的参照对象
相关文章
大语言模型训练范式入门课:LLM都是如何训练出来的?干货满满,一文讲清楚!
PPO(Proximal Policy Optimization,近端策略优化) 和 DPO (Direct Preference Optimization,直接偏好优化) 的核心区别在于训练范式、流程复杂度和适用场景,简单总结如下:
烟雨平生
2026-04-14
1.4K0
大模型对齐核心技术拆解:详解RLHF强化学习、PPO优化、DPO偏好对齐的差异与实践22.3
在日常使用大模型的过程中,很多人都会遇到一类典型问题:模型本身储备的知识足够全面,但输出的回答往往生硬冗长、重点模糊,甚至频繁出现内容幻觉、答非所问等问题,无法贴合人类的对话逻辑与使用习惯。这类问题并非源于预训练阶段的知识训练不足,核心原因是模型未完成人类偏好对齐优化。
未闻花名
2026-09-12
5871
Laravel中APP_KEY起什么作用
传送门:https://segmentfault.com/q/1010000009773300
咪啪咪啪
2019-11-15
1.5K0
专访|罗长才:拆解大模型训练全链路,剖析预训练、微调体系对GEO落地的底层赋能逻辑
采访时间:2026 年 7 月 受访人:罗长才,GEO 落地工程师,长期深耕生成式引擎优化工程落地、大模型适配改造、知识结构化治理全流程实践,主导多套垂直场景 GEO 技术架构搭建与落地验证工作
罗长才
2026-07-04
4320
这些技术,ChatGPT和它的潜在竞争者们都在用
机器之心报道 编辑:王强、杜伟 如今的人工智能圈,ChatGPT 等 AI 聊天机器人火的一塌糊涂,甚至让 Stack Overflow 访问量暴跌。那么这些 AI 聊天机器人背后的技术以及异同点有哪些呢?本文作者探索并试图回答这些问题。 随着 ChatGPT 的出现以及随之而来的广泛讨论,RLHF、SFT、IFT、CoT 等晦涩的缩略词出现在公众面前,这都归功于 ChatGPT 的成功。这些晦涩的缩略词是什么?为什么它们如此重要?本文作者查阅了所有关于这些主题的重要论文,进行了分类总结。 ChatGPT
机器之心
2023-03-29
9210
点击加载更多
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
领券