
## ## 几个概念

**总参数量** = 词嵌入层参数 + 解码器层参数
**小模型** 就是在参数量上显著小于LLM的模型

所有参数 都放在 safetensors **模型文件** 中

**预训练** 就是为了 生成合理的 参数值
**后训练** 也是为了 生成合理的 参数值

蒸馏、微调、强化学习，都是后训练
大模型变成小模型采用"蒸馏+量化+剪枝"的组合策略


---

## 一、大模型 GPT-3 参数量详解

大模型的参数量是指神经网络中所有可训练权重和偏置的总数，这些参数决定了模型的学习能力和表达能力。

**1. 词嵌入层（Embedding Layer）**
- 词嵌入矩阵：词表大小×隐藏维度 = 50,000×12,288 ≈ 614M参数
- 位置编码：GPT-3使用固定正弦编码，无可训练参数
- **总计：约6.14亿参数，占0.35%**

**2. Transformer解码器层（96层）**

**多头自注意力机制**：
- 每个注意力头：Q、K、V三个投影矩阵 + 输出投影矩阵
- 单层参数量：4×d_model² = 4×12,288² ≈ 6.29亿
- 96层总参数量：6.29亿×96 ≈ 604亿，占34.5%

**前馈神经网络（FFN）**：
- 中间维度d_ff = 4×d_model = 49,152
- 单层参数量：2×d_model×d_ff = 2×12,288×49,152 ≈ 1.21亿
- 96层总参数量：1.21亿×96 ≈ 116亿，占66.1%

**层归一化（LayerNorm）**：
- 每层2次归一化，参数量可忽略不计

**3. 输出层**
- 词表投影矩阵：d_model×V = 12,288×50,000 ≈ 614M参数

**总计**：嵌入层6.14亿 + 自注意力604亿 + 前馈网络116亿 + 输出层6.14亿 ≈ 1732亿，加上层归一化等小参数，最终达到**1750亿** （**175B**）


---

## 二、小模型 Phi-3-mini 参数量详解

| 配置项 | 数值 |
| ---- | ---- |
| 词表大小 (V) | 32064 |
| 隐藏层维度 (d_model) | 2048 |
| 层数 (N) | 32 |
| 注意力头数 (num_heads) | 32 |
| 前馈网络维度 (d_ff) | $8 \times d_{model} = 16384$ |

### 1. 词嵌入层
参数 = 词表大小 (V) × 隐藏层维度 ($d_{model}$)
$$= 32064 \times 2048 = 65,660,928 = \boldsymbol{6.5661 \text{ 千万}}$$

### 2. Transformer解码器层 (共32层)
#### a) 多头自注意力机制
这部分包含四个权重矩阵：查询(Q)、键(K)、值(V)的投影矩阵，以及最终的输出投影矩阵。每个矩阵的大小都是 $d_{model} \times d_{model}$。

单层注意力参数量 = $4 \times (d_{model})^2$
$$= 4 \times 2048^2 = 4 \times 4,194,304 = 16,777,216 = \boldsymbol{1.6777 \text{ 千万}}$$

#### b) 前馈神经网络
两层结构：先从 $d_{model}$ 扩展到 $d_{ff}$，再压缩回 $d_{model}$。

单层FFN参数量 = $d_{model} \times d_{ff} + d_{ff} \times d_{model} = 2 \times d_{model} \times d_{ff}$
$$= 2 \times 2048 \times 16384 = 67,108,864 = \boldsymbol{6.7109 \text{ 千万}}$$

#### c) 单层解码器合计
单层总参数量 = 注意力参数量 + FFN参数量
$$= 16,777,216 + 67,108,864 = 83,886,080 = \boldsymbol{8.3886 \text{ 千万}}$$

#### d) 32层解码器合计
32层总参数量 = 单层总参数量 × 32
$$= 83,886,080 \times 32 = 2,684,354,560 = \boldsymbol{26.8435 \text{ 亿}}$$

### 3. 输出层
输出层为线性层，将隐藏向量映射回词表概率，**参数量与词嵌入层完全一致**（共享权重是主流大模型的优化方式，若不共享则单独计算，结果相同）。

参数 = $d_{model} \times V$
$$= 2048 \times 32064 = 65,660,928 = \boldsymbol{6.5661 \text{ 千万}}$$

### 4. 模型总参数量（参考）
若词嵌入层与输出层**共享权重**（主流方案）：
总参数量 = 词嵌入层参数 + 32层解码器参数
$$= 65,660,928 + 2,684,354,560 = 2,750,015,488 \approx \boldsymbol{27.5 \text{ 亿}}$$

若词嵌入层与输出层**不共享权重**：
总参数量 = 词嵌入层参数 + 32层解码器参数 + 输出层参数
$$= 65,660,928 + 2,684,354,560 + 65,660,928 = 2,815,676,416 \approx \boldsymbol{28.16 \text{ 亿}}$$

> **补充说明**：Phi-3-mini 官方标称参数量约 **3.8B**，上述计算差异源于模型的轻量化优化（如偏置项省略、稀疏注意力、权重共享的精细设计等）。


---

## 三、大模型、小模型参数差距的本质

**大模型的参数量，本质上是用 $d_{model}^2$ 的代价，换取高维语义空间的表达能力。**

*   **大模型**：暴力堆砌 $d_{model}$ 和 $N$，用 1750 亿个浮点数去拟合人类语言的概率分布，实现“全知全能”的压缩。
*   **小模型**：通过降低 $d_{model}$（如降到 2048）、剪枝、蒸馏，牺牲掉长尾知识和复杂推理能力，换取在端侧设备上的实时响应。

这就是为什么我们在做 RAG 或 Agent 时，如果任务简单（如分类、提取），坚决不用大模型，因为又慢又贵。

**Phi-3 为什么只有 3.8B？**
Phi-3 (3.8B) 和 GPT-3 (175B) 的对比，本质上是**“维度”**和**“深度”**的双重压缩。
它通过极度压缩 $d_{model}$（降到 2048）和减少层数（32层），把参数锁死在了 4B 以下，使其能在手机端运行。
| 维度对比 | 大模型 (LLM) | 小模型 (SLM) | 对参数量的影响 |
| :--- | :--- | :--- | :--- |
| **隐藏层维度 ($d_{model}$)** | 12288 (GPT-3/4) | 2048 (Phi-3) / 1024 (TinyLLaMA) | **平方级影响**。$12288^2$ 是 $2048^2$ 的 **36倍**！这是最核心的差异。 |
| **网络层数 ($N$)** | 96 ~ 120 层 | 32 ~ 40 层 (Phi-3) | **线性影响**。层数减半，参数减半。 |
| **FFN 扩张因子** | 4 (标准) | 4 (标准) 或更小 (如 SwiGLU 变体) | 影响常数倍。 |
| **词表大小** | 5万~10万+ | 3万~5万 | 线性影响，占比不大。 |

<div align="center"><img src="https://developer.qcloudimg.com/http-save/yehe-11563618/91bfe4402b0bd70bb6d11609bbb360b3.jpg" width="50%"></div>


---

## 四、为什么对小模型感兴趣

以前，我们用Java+DB开发应用，用C+RTOS开发嵌入式软件。

AI时代，要建设的系统可能在技术上大为不同，例如 https://zhuanlan.zhihu.com/p/1987627343905317764 这篇文章，论及了用小模型+知识库开发。

所以，本篇理解小模型，下篇学习小模型建模或小模型训练。

<div align="center"><img src="https://developer.qcloudimg.com/http-save/yehe-11563618/209c60fbe697c3ad251ff976a675a3cc.jpg" width="50%"></div>

---

总参数量 = 词嵌入层参数 + 解码器层参数小模型 就是在参数量上显著小于LLM的模型

大模型、小模型、参数量

AI时代，要建设的系统可能在技术上大为不同，例如用小模型+知识库开发。所以，学习一下小模型。

人工智能

后端

算法

本文深入解析GPT-3与Phi-3-mini模型参数差异，揭示大模型与小模型在隐藏层维度、网络层数等关键指标上的本质区别。通过对比1750亿参数的GPT-3与3.8亿参数的Phi-3-mini，展现小模型如何通过压缩维度实现端侧部署，为AI应用开发提供新思路。

强化学习

Agent

Java

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云AI代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

功能1上新10个字符

功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符。

功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符。

功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符

功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符

功能4上新

文章&问答评论现已支持表情

全新交互，全新视觉，新增快捷键、悬浮工具栏、高亮块等功能并同时优化现有功能，全面提升创作效率和体验

社区富文本编辑器全新改版！诚邀体验～ 

精选全网热门MCP server，让你的AI更好用 🚀

💥开发者 MCP广场重磅上线！

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

大模型、小模型、参数量-腾讯云开发者社区-腾讯云

大模型、小模型、参数量

大模型、小模型、参数量

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐