# LLM 蒸馏技术

>by @Laizhuocheng  GitHub项目：AI-From-Zero

---

## 一、简介

LLM 蒸馏 (Distillation) 是一种技术，用于将大型语言模型 (LLM) 的知识转移到较小的模型中。其主要目的是在保持模型性能的同时，减少模型的大小和计算资源需求。通过蒸馏技术，较小的模型可以在推理时更高效地运行，适用于资源受限的环境。

**说人话就是：** 想象一位武林高手，练了几十年功夫，内力深厚。现在他要把毕生武学传给徒弟，但徒弟不可能也花几十年从头练起。于是师父把自己的心得、诀窍、判断方式浓缩教给徒弟。徒弟虽然内力不如师父深厚，但能用更短的时间、更少的资源，学到师父大部分的实战能力。这就是"蒸馏"——把大模型的"智慧"提炼到小模型里。

![Abstract1(1).png](https://developer.qcloudimg.com/http-save/yehe-11994342/5a5dc346fb234b7ab3433fc115f34eaf.png)
---

## 二、蒸馏过程

蒸馏过程通常包括以下几个步骤：

1. **训练教师模型**：首先训练一个大型且性能优越的教师模型。
2. **生成软标签**：使用教师模型对训练数据进行预测，生成软目标 (soft targets)，这些目标包含了教师模型的概率分布信息。
3. **训练学生模型**：使用软目标 (soft targets) 和原始训练数据 (hard targets) 来训练较小的学生模型，使其能够模仿教师模型的行为。

这种方法不仅可以提高模型的效率，还可以在某些情况下提高模型的泛化能力。

### Hard Targets（硬标签）

硬标签就是传统的"标准答案"，通常是 one-hot 编码，只告诉你正确答案是什么：

```
这张图是猫：[1, 0, 0]
             猫  狗  老虎
```

### Soft Targets（软标签）

软标签是教师模型输出的完整概率分布：

```
教师模型的判断：[0.70, 0.25, 0.05]
                 猫    狗    老虎
```

这里包含了丰富得多的信息：教师认为这张图 70% 可能是猫，但也有 25% 可能是狗（也许图片里的猫长得有点像狗），几乎不可能是老虎。

---

## 三、蒸馏可能存在的问题

- **信息丢失**：由于学生模型比教师模型小，可能无法完全捕捉教师模型的所有知识和细节，导致信息丢失。
- **依赖教师模型**：学生模型的性能高度依赖于教师模型的质量，如果教师模型本身存在偏差或错误，学生模型可能会继承这些问题。
- **适用性限制**：蒸馏技术可能不适用于所有类型的模型或任务，尤其是那些需要高精度和复杂推理的任务。

---

## 四、典型例子

- **GPT-4o (教师模型)** 中提炼出 **GPT-4o-mini (学生模型)**
- **DeepSeek-R1 (教师模型)** 中提炼出 **DeepSeek-R1-Distill-Qwen-32B (学生模型)**（这个不是传统意义上的蒸馏了，是蒸馏 + 数据增强 + 微调）
![image.png](https://developer.qcloudimg.com/http-save/yehe-11994342/60f9a6edd354dded16f33db7ffb3a7ad.png)
---

## 五、其他蒸馏技术

### 1. 基于 Logits 的蒸馏（Logit-based Distillation）

这是最经典的方法。学生模型学习教师模型输出层的概率分布（软标签），而不仅仅是最终答案。软标签中包含了教师模型对各个 token 的置信度，这种"不确定性"本身就是有价值的知识。

| 优点 | 缺点 |
|------|------|
| 实现简单，理论成熟 | 只利用了输出层信息 |
| 软标签包含丰富的"暗知识" | 需要访问教师模型的 logits |
| 训练稳定 | 对长序列生成效果有限 |

### 2. 基于特征的蒸馏（Feature-based Distillation）

让学生模型模仿教师模型中间层的隐藏状态（hidden states）或注意力分布（attention maps），学习其内部的特征表示方式。

| 优点 | 缺点 |
|------|------|
| 知识转移更深入 | 需要师生模型架构对齐 |
| 学生能学到更丰富的表征 | 实现复杂度较高 |
| 对下游任务泛化更好 | 计算成本更高 |

### 3. 为什么 Soft Targets 更有价值

**1. 包含类别间的相似性信息**

硬标签只说"这是猫"，但软标签还告诉你"猫和狗比猫和老虎更像"。这种类别之间的关系是宝贵的"暗知识"（dark knowledge），是教师模型从海量数据中学到的。

**2. 提供更平滑的学习信号**

想象你教一个孩子认动物。如果孩子把一只橘猫认成了小老虎，硬标签只会说"错了"，但软标签会说"嗯，确实有点像，但更可能是猫"。这种反馈更有建设性。

LLM 蒸馏 (Distillation) 是一种技术，用于将大型语言模型 (LLM) 的知识转移到较小的模型中。其主要目的是在保持模型性能的同时，减少模型的大小和计算资源需求。通过蒸馏技术，较小的模型可以在推理时更高效地运行，适用于资源受限的环境。

你知道什么是LLM 蒸馏技术吗？

数据开发/数据仓库

人工智能

算法

LLM蒸馏技术将大型语言模型知识转移到小模型中，提升推理效率并减少资源消耗。通过教师模型生成软标签，学生模型学习概率分布和特征表示，实现知识高效迁移。典型应用包括GPT-4o到GPT-4o-mini的转化，适用于资源受限场景，但可能存在信息丢失问题。

2026新春采购季

tione

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云AI代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

功能1上新10个字符

功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符。

功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符。

功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符

功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符

功能4上新

文章&问答评论现已支持表情

全新交互，全新视觉，新增快捷键、悬浮工具栏、高亮块等功能并同时优化现有功能，全面提升创作效率和体验

社区富文本编辑器全新改版！诚邀体验～ 

精选全网热门MCP server，让你的AI更好用 🚀

💥开发者 MCP广场重磅上线！

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

你知道什么是LLM 蒸馏技术吗？-腾讯云开发者社区-腾讯云

你知道什么是LLM 蒸馏技术吗？

你知道什么是LLM 蒸馏技术吗？

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐