学习笔记：大模型训练的本质是什么

大型语言模型（LLM）看似拥有神奇的智能，能够写代码、解释科学概念，但这并非魔法，而是数学在“预测下一个词元”这一简单任务上的极致应用。

我们可以通过一个比喻来理解大模型训练的核心阶段：将一个模型塑造成能干、专业且行为得体的“智能助手”，就像教育一个人一样，需要经历几个关键步骤。

![](https://developer.qcloudimg.com/http-save/yehe-4230668/58a105f0737d1af3eff3ed3be17361b2.png)

预训练 (Pre-training)



预训练阶段好比一个人的通识教育，目标是让模型学习语言的规律、事实、概念以及它们之间的关系，建立对世界的广泛理解。这个阶段的关键是解决了AI训练中最昂贵的“数据瓶颈”问题。

在过去，AI依赖于“监督学习”，即需要人类专家为每一个数据样本打上标签（例如，放射科医生标记MRI扫描图），成本极高且规模有5。而GPT等模型的突破在于采用了自监督学习 (self-supervised learning)。它巧妙地让数据“自我标注”，将整个互联网变成了免费的、取之不尽的教科书。

具体来说：

• 核心任务：预测下一个词元 (Predict the next token)。

• 数据处理：模型将一段文本作为输入，而文本中紧随其后的那个词元就自然成为了“正确答案”或标签，无需任何人工标注。

具体举例：

• 对于句子 “The cat sat on the mat”，模型会将其分解成多个训练样本：

◦ 输入：“The”，目标：“cat”

◦ 输入：“The cat”，目标：“sat”

◦ 输入：“The cat sat”，目标：“on”



• 为了准确预测“In Paris, the capital of France, the primary language spoken is [?]”这句话中的下一个词元“French”，模型必须被迫学习：

◦ 语法知识：知道动词 is 后面可能跟一个名词。

◦ 世界知识：知道巴黎是法国的首都，以及法国的官方语言是法语。

◦ 上下文关联：将句末的信息与句首的“Paris”联系起来。



通过在海量文本上进行亿万次这样的预测、衡量误差（通过交叉熵损失函数计算“惊讶度”）并自我修正（通过反向传播算法），模型便逐渐建立了对世界的深层内在理解。这个阶段完成后，我们得到的是一个知识渊博但未经“驯化”的基础模型，它是一个强大的预测引擎，但还不是一个乐于助人的助手。



换句话说，经过预训练的大模型是一个高效不出错的续写能手。此时大模型具备了世界常识的理解，并且能知道所有概念的内在联系，比如我们给大模型一个前缀：

此时大模型大概率输出 “北京“，需要注意，这并不是大模型记住了这个知识，而是大模型理解了 中国，首都，北京这些词之后，思考得出的结论。这个文本也许在训练数据出现过，还无法说明，下面再举个例子：



在这个例子里，该句子虽然没有在训练数据出现过，但是大模型根据对 人名，中国，美国，首都，北京的理解，还是能准确续写，这就是大模型的理解能力。

当然，一个人仅仅掌握基础知识是无法生存的，因为太普通了。接下要通过微调训练，让大模型具备各种能力。

微调训练 (Fine-tuning)



预训练模型虽然知识渊博，但它只会根据概率补全句子，而不懂得如何“回答问题”或“遵循指令”。微调训练（特别是监督微调，SFT）就像是职业技能培训，旨在教会模型如何成为一个有用的助手。

这个阶段需要引入高质量、由人类创建的“指令-回答”数据集，对模型进行有针对性的训练，让它学会理解并响应用户的指令。

具体举例：

• 预训练模型的行为：当收到提示“法国的首都是什么？”时，由于它在互联网上见过大量类似模式的文本，它可能会续写出另一个问题，比如“以及它的人口是多少？”。它只是在完成一个它认为概率最高的文本模式，而不是在回答问题。

• 微调训练的目标：通过向模型展示大量的“问题-标准答案”范例，我们教导它：当看到一个问句时，正确的行为模式是提供一个直接、准确的答案。经过微调后，对于“法国的首都是什么？”这个问题，它将学会回答“巴黎”。



更进一步说，不管是什么什么能力，包括翻译能力，编程能力，计算能力，甚至自我认知能力，都可以通过微调解决，而这些能力的基础都是预训练里大模型学习到的基础世界认知，没有基础认知就没办法学习单独的技能。



而这里的具体能力，实际上就是某个单独的词，比如”翻译“，微调训练的目的就是让大模型遇到翻译这个词的时候，自动调度那些经过专门训练的能力（比如具体语法，常见规则等等，不需要一一说明，只要足量的数据即可）。



RLHF



监督微调教会了模型具体技能，但如何确保它的回答不仅正确，而且有帮助、无害且符合人类偏好呢？这就是“从人类反馈中进行强化学习”（RLHF）登场的时机。这个阶段好比社会化教育，目的是使模型的行为与人类的价值观和期望对齐 (align)。



RLHF通过人类的偏好数据来训练一个“奖励模型”，然后用这个奖励模型作为指导，通过强化学习算法进一步优化语言模型，使其生成更受人类欢迎的回答。



具体举例：

• 问题：当被要求解释一个复杂的概念时，模型可能会给出两种答案：一种技术上完全正确但术语晦涩；另一种虽然简化了一些，但通俗易懂，对普通用户更有帮助。

• RLHF的做法：人类评估员会标记第二种答案为“更好”。通过学习成千上万个这样的偏好数据，模型逐渐明白，一个“好”的答案不仅仅是事实正确，还应该清晰、易于理解并且考虑到用户的背景。它学会了在不同答案风格中做出更符合人类偏好的选择。



经过微调训练之后大模型实际上已经具备各种能力，RLHF过程只是通过人类倾向性规范，让大模型的输出在安全范围内。

强化学习 & 蒸馏



你可能听说过DeekSeek R1的推理能力很强，你可能会想R1的思考过程是不是通过大量数据进行训练的，实际上并不是，R1的强推理确实是经过微调训练得到，但是思考过程的数据确是通过强化学习生成。

一方面，手工整理的思考过程数据效果没有强化学习好，二方面，强化学习的成本优势还特别大。



强化学习（如在RLHF中使用的）和模型蒸馏 (Distillation) 确实可以在某些方面帮助节省成本，但它们的核心目标和机制有所不同。

• 强化学习 (RL)：在RLHF的框架下，强化学习通过一个“奖励模型”来指导语言模型，这个奖励模型本身就是从相对少量的人类偏好数据中学习得来的。相比于需要为每个可能的指令都编写一个完美答案（这在SFT阶段成本很高），只需让人类对模型的不同输出进行排序和选择，数据标注的成本和难度都大大降低了。

• 模型蒸馏 (Distillation)：这是一种模型压缩技术。其核心思想是训练一个更小、计算成本更低的学生模型，来模仿一个更大、能力更强的教师模型的行为。



◦ 具体举例：假设我们有一个非常强大的大型模型（如GPT-4），但运行它的成本很高。我们可以用这个大模型为海量无标签数据生成“软标签”（即详细的概率分布，而不仅仅是最终答案）。

然后，我们用这些由大模型生成的“高质量教学数据”来训练一个规模小得多的模型。这样，小模型就能以较低的成本学到大模型的一部分“知识精髓”，从而在保持可接受性能的同时，显著降低部署和推理的成本。这可以看作是一种用“计算成本”换取“人力标注成本”的方式。



被蒸馏的一方叫 ”教师模型“，一般是大模型，学习的一方叫”学生模型”，一般是小模型，在参数量很小的情况下，往往可以达到“教师模型”80%的能力。



大型语言模型（LLM）看似拥有神奇的智能，能够写代码、解释科学概念，但这并非魔法，而是数学在“预测下一个词元”这一简单任务上的极致应用。

学习笔记：大模型训练的本质是什么

人工智能

算法

后端

大模型训练的本质是通过预训练学习世界知识，再经微调掌握任务技能，最后用RLHF对齐人类偏好，三者层层递进，最终打造出能理解、会推理、懂回答的智能助手。

数据标注

强化学习

数据处理

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

学习笔记：大模型训练的本质是什么-腾讯云开发者社区-腾讯云

学习笔记：大模型训练的本质是什么

学习笔记：大模型训练的本质是什么

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐