原文链接：https://mp.weixin.qq.com/s/R3BxCMu5CSFo_HPcVJTuOA 
欢迎关注公gh:  Al-Frontiers

**transformer往期文章推荐**
[收藏! transformer学习资源汇总](https://mp.weixin.qq.com/s/qap5mePkP2rVbVSMsaBUMw)

从这篇开始，将通过一系列文章，给大家介绍 LLM 背后的技术架构：transformer。我们将采用自顶向下的方式，阐述transformer的功能、基础知识、架构、注意力机制及其内部工作原理。希望通过这些系列文档的介绍，能够帮助大家更好地理解 LLM 运行机制。  

自2017年，Google发布 「Attention Is All You Need」（https://arxiv.org/abs/1706.03762）以来，transformer架构一直霸榜 NLP 领域，包括 Google 和 OpenAI 在内发布的各类明星模型，都是以 transformer 架构为基础，在当时都取得了效果最佳的基准测试结果。

本篇将以通俗易懂、图文并茂的方式，为大家讲解 Transformer 在 NLP 中的应用、相比RNN的优势，重点介绍注意力机制如何提升性能。

# 什么是 transformer

transformer 架构擅长处理本质上具有顺序性的文本数据。它以文本序列作为输入，并生成另一个文本序列作为输出。例如，将输入的英文句子翻译成西班牙语。
![image](https://developer.qcloudimg.com/http-save/yehe-11939351/ad36619cb9c54405ae27bd323e6519ae.png)

它的核心是一系列编码器层和解码器层。为避免混淆，我们将单个层称为「编码器」或「解码器」，而将一组编码器层称为「编码器堆栈」或「解码器堆栈」。

编码器栈和解码器栈各自都有对应的嵌入层，用于处理各自的输入。最后，还有一个输出层来生成最终的输出。
![image](https://developer.qcloudimg.com/http-save/yehe-11939351/51b43a94fcd54923bf8af28c288c587b.png)

所有编码器和解码器在架构上都是相同，但是他们之间的权重是不共享的。
![image](https://developer.qcloudimg.com/http-save/yehe-11939351/fbf19ef905805ef623b1395d91237e04.png)
- **编码器**：包含自注意力层（Self-attention ）和前馈层（Feed-forward ），前者负责计算序列中不同词汇之间的关系，后者将注意力层的输出作为输入。
- **解码器**：包含自注意力层和前馈层，以及编码器-解码器注意力层。
- 每个编码器和解码器都有自己的一组权重。


编码器是一个可复用的模块，是所有Transformer架构的核心组件。除了上述两层之外，它还在这两层周围设置了残差连接，并包含两个归一化层。
![image](https://developer.qcloudimg.com/http-save/yehe-11939351/5cce85679482f6ac49efb0a0aa1e698b.png)
transformer架构有很多变体。有些Transformer架构完全没有解码器，只依赖于编码器（后面会再写文章给大家介绍）。

# 注意力机制的作用是什么？

transformer 能取得突破性性能，关键在于它使用了注意力机制。
在处理一个词时，注意力机制使模型能够关注输入中与该词密切相关的其他词。
例如，下面这句话，"ball" 与 "blue"、"holding"这两个词密切相关， 而 "blue" 与 "boy" 无关。
![2 注意力机制的作用是什么？.png](https://developer.qcloudimg.com/http-save/yehe-11939351/eede70b4e0f008d77248eccc6d9808b3.png)
transformer 架构使用的自注意力机制，会把输入序列里的每一个词和其他所有词关联起来。

例如：考虑以下两个句子：
- The cat drank the milk because **it** was hungry.
- The cat drank the milk because **it** was sweet.

在第一句中，"it" 指的是 "cat"，而在第二句中，"it" 指的是 "milk"。当模型处理 "it" 这个词时，自注意力机制会给模型提供更多关于其含义的信息，以便模型能够将 "it" 与正确的词联系起来。
![2.1 注意力机制的作用是什么？.png](https://developer.qcloudimg.com/http-save/yehe-11939351/43f993d6f2a3d830d7fd63bc2290604c.png)
为了让模型能处理句子意图和语义中更细微的差别，transformer 为每个词都配备了多个注意力得分。

例如，在处理单词 "it" 时，第一个得分突出显示了 "cat"，而第二个得分突出显示了 "hungry"。因此，当它解码单词 "it" 时，例如将其翻译成另一种语言，它会将 "cat" 和 "hungry" 的某些特征融入到翻译后的单词中。
![2.2 注意力机制的作用是什么？.png](https://developer.qcloudimg.com/http-save/yehe-11939351/6321f7fc48222c43eed65d2d88bd4126.png)

# 训练 transformer

transformer 在训练阶段和推理阶段的工作方式略有不同。
我们先看看训练时的数据流向。训练数据包含两部分：
- **源序列**，也就是输入序列（比如翻译任务里的英文句子："You are welcome"）。
- **目标序列**，也就是期望的输出序列（比如对应的西班牙语："De nada"）。


transformer 的目标，就是学会如何同时利用输入序列和目标序列，来输出正确的目标序列。
![3 训练 transformer.png](https://developer.qcloudimg.com/http-save/yehe-11939351/6b9393e38dd229be2b4e080a0ca92326.png)

transformer 处理数据的过程是这样的：
1. 输入序列被转换成嵌入向量（同时加入了位置编码），然后喂给编码器。
2. 编码器堆栈处理这些数据，并生成输入序列的一个编码表示。
3. 目标序列的开头会加上一个句子起始标记，然后也被转换成嵌入向量（同样加入位置编码），再喂给解码器。
4. 解码器堆栈会结合上面编码器堆栈产生的编码表示，一起处理这些数据，最终生成目标序列的一个编码表示。
5. 输出层将这个编码表示转换成词汇概率，并输出最终的输出序列。
6. transformer 的损失函数（Loss function） 会用这个输出序列跟训练数据里的目标序列做比较。产生的损失值用于生成梯度，通过反向传播来训练 transformer。

# transformer推理过程

在推理阶段，我们只有输入序列，没有目标序列作为解码器的输入。Transformer 的目标是仅根据输入序列生成目标序列。

因此，就像在 Seq2Seq 模型中一样，我们在一个循环中生成输出，并将前一个时间步的输出序列输入到下一个时间步的解码器中，直到遇到句子结束标记为止。

跟 Seq2Seq 模型不同的是，在每一个时间步，我们不是只喂给解码器上一个词，而是把到目前为止生成的所有输出序列都重新喂进去。
![4 transformer推理过程.png](https://developer.qcloudimg.com/http-save/yehe-11939351/00640b6a3c5a6820b498646961e70314.png)

推理阶段的数据流向是：
1. 输入序列被转换成嵌入向量（加位置编码），喂给编码器。
2. 编码器堆栈处理这些数据，生成输入序列的编码表示。
3. 这时，我们不用目标序列，而是用一个只包含句子起始标记的空序列。同样，把它转换成嵌入向量（加位置编码），喂给解码器。
4. 解码器堆栈结合编码器堆栈的编码表示，处理这些数据，生成一个目标序列的编码表示。
5. 输出层将其转换成词汇概率，并产出一个输出序列。
6. 我们取这个输出序列概率最大的词，作为当前预测出的词。然后，把这个词填入解码器输入序列的第二位置。这时，解码器的输入序列就包含了：句子起始标记 + 第一个预测词。
7. 回到第3步。和之前一样，把新的解码器序列喂给模型。然后，取这次输出的第二个词，将其添加到解码器序列的末尾。重复这个过程，直到模型预测出句子结束标记。

注意：因为编码器序列在每次迭代中都不变，所以我们不必重复第1步和第2步。

# 教师强制（Teacher Forcing）

训练时把目标序列直接喂给解码器的做法，叫做教师强制（Teacher Forcing）。

为什么要这么做？这个术语又是什么意思呢？

其实，训练时原本可以采用和推理时一样的方法：让 transformer 在一个循环里跑，每次取输出序列概率最大的词，拼接到解码器输入后面，再喂给解码器进行下一次迭代。直到预测出句子结束标记，再用损失函数比较生成的输出序列和目标序列，来训练网络。

但这种循环式的训练不仅会让训练时间成倍增加，还会让模型更难训练。因为模型可能需要基于可能有误的第一个预测词，去预测第二个词，这样一步步，错误就会像滚雪球一样累积。

相反，我们把目标序列喂给解码器，等于是给了它一个提示，就像老师做的那样。即使模型第一步预测错了，它还是能直接用正确的第一个词去学习预测第二个词，从而避免错误不断累积。

此外，这种并行方式也让 transformer 能在训练时一次性输出所有词，无需循环，极大地加速了训练。

# transformer 用在哪些地方？

transformer模型用途广泛，可用于大多数自然语言处理任务，例如语言模型和文本分类。它们经常用于序列到序列模型，应用于机器翻译、文本摘要、问答系统、命名实体识别和语音识别等领域。

针对不同的问题，transformer架构有多种不同的变体。基本的编码器层是这些架构的通用构建模块，而不同的「头部」则根据所要解决的问题而有所不同。
## 用于分类的 transformer 架构

以情感分析应用为例。它接收一个文本文档作为输入。一个分类头会接收 transformer 的输出，然后生成对类别标签的预测，比如 "正面"或 "负面" 情绪。
![5 用于分类的 transformer 架构.png](https://developer.qcloudimg.com/http-save/yehe-11939351/cd29de4a2296dc429eb3347f59b628a6.png)
## 用于语言模型的 transformer 架构

语言模型架构会接收输入序列（比如一个句子的前半部分），然后通过预测后续句子来生成新的文本。一个语言模型头会接收 transformer 的输出，并为词汇表中的每一个词生成一个概率。其中概率最高的那个词，就会被作为句中下一个词的预测结果。
![6 用于语言模型的 transformer 架构.png](https://developer.qcloudimg.com/http-save/yehe-11939351/f6ff2cfdbb265027f681fc5f3a47ced7.png)
# transformer 比 RNN 强在哪里？

在 transformer 横空出世并取而代之之前，RNN 及其变体 LSTM 和 GRU，是所有自然语言处理应用事实上的标准架构。

基于 RNN 的序列到序列模型表现不错。而且，当注意力机制刚被提出时，它首先是被用来增强 RNN 模型性能的。

但，RNN 有两个局限：
- 很难处理长距离依赖关系，即那些在很长的句子里分布得很开的词汇之间的联系。
- RNN 一个接一个地顺序处理输入序列，这意味着在完成第 t-1 步的计算之前，无法进行第 t 步的计算。这会拖慢训练和推理的速度。

顺便提一句，对于 CNN 来说，所有的输出都可以并行计算，这让卷积操作快得多。然而，CNN 在处理长距离依赖时同样存在局限：
- 在卷积层中，只有那些足够近、能落在卷积核尺寸范围内的部分图像（或者如果应用到文本，就是部分词汇）才能相互交互。那些相隔更远的元素，则需要更深、层数更多的网络。

transformer 架构则同时解决了这两个局限。它彻底抛弃了 RNN，完全依赖于注意力机制的优势。
- transformer 并行处理序列中的所有词汇，极大提升了计算速度。

![7 transformer 比 RNN 强在哪里？.png](https://developer.qcloudimg.com/http-save/yehe-11939351/396fa1a2c4c8c03122f01857d6c9e712.png)
- 输入序列中词与词之间的距离不再是问题。它处理相邻词汇之间、以及相隔很远的词汇之间依赖关系的能力，是一样的出色。

本篇我们对 Transformer 有了一个宏观的概念，下一篇将深入 transformer 内部结构，深入理解它的工作机制。

**感谢阅读文章，如果觉得不错，欢迎点个赞、转发！**


原文链接：https://mp.weixin.qq.com/s/R3BxCMu5CSFo_HPcVJTuOA 欢迎关注公gh:  Al-Frontiers

transformer进阶之路：#1 整体概述

从这篇开始，将通过一系列文章，给大家介绍 LLM 背后的技术架构：transformer。我们将采用自顶向下的方式，阐述transformer的功能、基础知识、架构、注意力机制及其内部工作原理。希望通过这些系列文档的介绍，能够帮助大家更好地理解 LLM 运行机制。

人工智能

算法

编程语言

深入解析Transformer架构及其在NLP中的应用，详解自注意力机制如何提升模型性能。对比RNN优势，介绍编码器-解码器结构及训练推理流程。适合想了解LLM底层技术的学习者，帮助掌握现代NLP核心技术原理。

自然语言处理

语音识别

机器翻译

数据流

2026采购季 | AI焕新·智启新局

语音产品特惠新用户14.9元起


4核4G3M云服务器 新用户低至38元/年！

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云AI代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

功能1上新10个字符

功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符。

功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符。

功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符

功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符

功能4上新

文章&问答评论现已支持表情

全新交互，全新视觉，新增快捷键、悬浮工具栏、高亮块等功能并同时优化现有功能，全面提升创作效率和体验

社区富文本编辑器全新改版！诚邀体验～ 

精选全网热门MCP server，让你的AI更好用 🚀

💥开发者 MCP广场重磅上线！

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

transformer进阶之路：#1 整体概述-腾讯云开发者社区-腾讯云

transformer进阶之路：#1 整体概述

transformer进阶之路：#1 整体概述

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐