Transformer 从零开始

资料：

• ① The Illustrated Transformer - Jay Alammar https://jalammar.github.io/illustrated-transformer/
• ② Building Transformer Models - Jason Brownlee https://machinelearningmastery.com/category/building-transformer-models/
• ③ Transformer - Dive into Deep Learning https://d2l.ai/chapter_attention-mechanisms-and-transformers/transformer.html

从零开始

• 2025-10 / Building Transformer Models from Scratch with PyTorch https://machinelearningmastery.com/building-transformer-models-from-scratch-with-pytorch-10-day-mini-course/

环境

conda create -n torch python=3.12
conda activate torch

# Install PyTorch (CPU version)
pip install torch torchvision
# Install PyTorch with CUDA (version <= nvidia-smi shown)
#  https://pytorch.org/get-started/locally
pip install torch torchvision --index-url https://download.pytorch.org/whl/cu130

运行

• 代码：build_transformer.py https://github.com/ikuokuo/start-deep-learning/blob/master/practice/Transformer/build_transformer.py
• 关键：Decoder-only, RoPE, GQA, MoE, SwiGLU

cd start-deep-learning/practice/Transformer
pip install -r requirements.txt
python build_transformer.py

其中 BATCH_SIZE 4 可以改 32，如果显存够大。我呢，训不太动 😢

进化线

之后是概括，给一些关键词。基此问一下 AI，能得到更好的回答呢。

例如，DeepSeek 归纳了 5 条核心进化线，

如果把大模型比作一辆车：

• Attention是 引擎（GQA/MLA 是省油技术）；
• Normalization 是 底盘悬挂（RMSNorm 保证行驶稳定）；
• 激活函数 是 燃油标号（SwiGLU 是高标号汽油）；
• 位置编码 是 导航系统（RoPE 让你知道该去哪）；
• 架构 是 车身设计（Decode-Only 最终统一了赛道）。

这些进化线相互配合，才有了今天又长、又快、又强的 LLM。

架构进化

Encoder-Decoder: 原始，适合 Seq2Seq 任务

Decoder-only (Causal): 当前，经过 Scaling Laws 验证

Attention 进化

KV Cache 优化，

计算模式优化，

• Sliding Window Attention (滑动窗口注意力)
• FlashAttention: 改进 GPU 的访存算法
• Sparse Attention (稀疏注意力)

位置编码进化

让模型理解顺序，

• 绝对位置编码
• 相对位置编码
• RoPE (旋转位置编码): 当前主流，更好的长度外推
• ALiBi

激活函数进化

增强非线性，

• ReLU
• GeLU
• SwiGLU

结语

开篇的资料 ① 适合入门，资料 ② 适合实践，都是超级棒的文章，值得学习 👍