- 综合排序
- 最热优先
- 最新优先
- 来自专栏大模型应用
大模型架构算力对比：Decoder-only、Encoder-Decoder、MoE深度解析.71
二、三种架构的定位1. Decoder-only（仅解码器）架构代表模型：GPT 系列、LLaMA 系列、Qwen 系列等。 模型架构优化：采用 Decoder-only 架构（推理友好，KV 缓存优化空间大），避免 Encoder-Decoder 架构的额外开销。 分工明确，Encoder 负责理解，Decoder 负责生成，在复杂序列任务中，模型能力优于同等算力的 Decoder-only 架构。 理解大模型发展趋势：大模型的发展始终围绕“提升能力”和“降低算力成本” 两个核心，Decoder-only 架构的流行、MoE 模型的兴起，都是算力优化的结果，理解算力差异可以帮助我们把握大模型的未来发展方向 三种大模型架构的算力核心差异主要体现在注意力机制、参数量与计算密度上，整体算力消耗从高到低依次为 Encoder-Decoder、Decoder-only、MoE 架构。
18843编辑于 2026-04-09 - 来自专栏AI智能体从入门到实践
构建AI智能体：Encoder-only与Decoder-only模型架构：基于本地小模型的实践解析
一、前言 在大模型蓬勃发展的今天，我们天天被动输入，一度对这个名字都耳熟能详，但对于主流架构可能还没有接触的很深，大模型的Encoder-only与Decoder-only两大架构犹如两条截然不同的技术路径 内容创作、智能客服、代码生成等场景需要模型具备持续创作能力，这时候Decoder-only架构展现出独特价值。它就像不知疲倦的创作者，能够根据简单提示生成丰富内容。 核心架构Encoder-only模型的核心是Transformer的编码器部分。 Decoder-only 模型就是这样一位成语接龙高手。 代表模型GPT 是 Decoder-only 架构最著名的代表，它的名字就揭示了其本质：生成式预训练Transformer。GPT 的训练目标非常简单直接：预测下一个词。
52832编辑于 2026-01-17 - 来自专栏Python进阶之路
详解为什么现在的 LLMs 大都是 Decoder-only 的架构
首先概述几种主要的架构： Encoder-only：以谷歌的 BERT 为代表。 Encoder-Decoder：以谷歌的 T5、Meta 的 BART 为代表。 基于自回归空白填充的通用语言模型：清华大学的 GLM。 XLNet：XLNet 在那时是一种通用的自回归预训练方法。 通过最大化所有可能的因式分解排列的对数似然，学习双向语境信息；用自回归本身的特点克服 BERT 的缺点；此外，XLNet 还融合了那时最优的自回归模型 Transformer-XL 的思路。 前缀语言模型（Prefix Language Model，PrefixLM）结合掩码语言模型和因果语言模型的优点，同时避免它们的不足。
50800编辑于 2024-05-25 - 来自专栏AI前沿技术
以GPT为代表的Decoder-Only架构凭啥C位出道？
大模型架构可以分为三类 Decoder-Only，Encoder-Only和Encoder-Decoder。 不同架构对应不同的训练任务，并在不同的场景任务上达到SOTA效果。 3）讨论主流厂商的大模型，采用Decoder-only架构的原因。 由于 Encoder 的计算过程可高度并行（无需像 Decoder 那样依赖前序输出逐步生成），这种架构能显著提升推理速度，远快于大型 Decoder-Only 模型。 4，Decoder-Only 架构 4.1，自回归定义 自回归（Auto-regressive model）模型采用经典的语言模型任务进行预训练，即给出上文预测下文，其中最经典的模型是GPT（Generative Decoder-only架构加next token predicition 的方式，每个位置所能接触的信息比其他架构少，要预测下一个token难度更高，当模型足够大，数据足够多的时候，Decoder-only
83010编辑于 2026-01-13 - 来自专栏人工智能
什么是Decoder-only架构？为什么GPT系列专注于预测下一个词？
什么是Decoder-only架构？为什么GPT系列专注于预测下一个词？ 最著名的Decoder-only模型就是GPT系列（GenerativePre-trainedTransformer）。 这就是Decoder-only架构的核心思想：专业化地做好"生成"这一件事。二、为什么需要专门的"生成"模型？ 单向注意力vs双向注意力模型类型注意力方向核心优势典型代表Decoder-only单向（从左到右）自回归生成、避免信息泄露GPTEncoder-only双向完整上下文理解BERTGPT的单向注意力确保了在生成第 就像人类社会中的专业分工一样，AI模型也在向着专业化发展。Decoder-only架构证明了，在特定领域做到极致，往往比试图面面俱到更有效。
34110编辑于 2026-03-06 - 来自专栏人工智能
解码器架构：构建智能语言模型的核心设计
在现代自然语言处理领域，Decoder-only（解码器）架构是构建语言模型的重要设计之一。这种架构尤其适合生成任务，例如对话生成、自动摘要、代码补全等。 Decoder-only 架构是基于 Transformer 的一种深度学习模型设计，专注于生成目标序列。它不直接依赖显式的编码器，而是通过自注意力机制处理输入，预测下一个单词或符号。 技术实现：理论与代码分析为了让这一架构更加直观，我们通过 Python 和 PyTorch 展示一个简单的 Decoder-only 模型。 案例研究：GPT 模型的成功实践GPT（Generative Pre-trained Transformer）是 Decoder-only 架构最著名的应用之一。 通过部署 GPT 模型，该平台将用户问题的响应时间缩短了 40%，显著提升了用户体验。这说明 Decoder-only 架构不仅在理论上高效，在实际场景中也具备广泛的适用性。
85210编辑于 2025-01-12 - 来自专栏花落的技术专栏
架构模型DDD 分层架构
整洁架构 整洁架构又名“洋葱架构”。为什么叫它洋葱架构？看看下面这张图你就明白了。整洁架构的层就像洋葱片一样，它体现了分层的设计思想。 我想这也是微服务架构下 API 网关盛行的主要原因吧。 三种微服务架构模型的对比和分析 这三种架构都考虑了前端需求的变与领域模型的不变。 DDD 分层架构、整洁架构、六边形架构都是以领域模型为核心，实行分层架构，内部核心业务逻辑与外部应用、资源隔离并解耦。请务必记好这个设计思想，今后会有大用处。 项目级微服务 项目级微服务的内部遵循分层架构模型就可以了。领域模型的核心逻辑在领域层实现，服务的组合和编排在应用层实现，通过 API 网关为前台应用提供服务，实现前后端分离。 BFF 微服务与其它微服务存在较大的差异，就是它没有领域模型，因此这个微服务内也不会有领域层。
68730发布于 2021-11-23 - 来自专栏SimpleAI
Huggingface🤗NLP笔记2：一文看清Transformer大家族的三股势力
encoder、decoder既可以单独使用，又可以再一起使用，因此，基于Transformer的模型可以分为三大类： Encoder-only Decoder-only Encoder-Decoder 不同的架构，不同的预训练方式，不同的特长 对于Encoder-only的模型，预训练任务通常是“破坏一个句子，然后让模型去预测或填补”。 对于Decoder-only的模型，预训练任务通常是Next word prediction，这种方式又被称为Causal language modeling。 而Seq2seq架构，由于包含了encoder和decoder，所以预训练的目标通常是融合了各自的目标，但通常还会设计一些更加复杂的目标，比如对于T5模型，会把一句话中一片区域的词都mask掉，然后让模型去预测 seq2seq架构的模型，就适合做翻译、对话等需要根据给定输入来生成输出的任务，这跟decoder-only的模型还是有很大差别的。
4.5K30发布于 2021-10-08 - 来自专栏IT从业者张某某
大语言模型-2.23-主流模型架构与新型架构
transformer架构 2.2 主流模型架构 三种主流架构 在预训练语言模型时代，自然语言处理领域广泛采用了预训练 + 微调的范式，并诞生了如下三种主流架构。 以 BERT 为代表的编码器（Encoder-only）架构 以 GPT 为代表的解码器（Decoder-only）架构 以 T5 为代表的编码器-解码器（Encoder-decoder）架构 大规模预训练语言模型 随着 GPT 系列模型的成功发展，当前自然语言处理领域走向了生成式大语言模型的道路，解码器架构已经成为了目前大语言模型的主流架构。 混合专家架构 (Mixture-of-Experts, MoE) 大语言模型能够通过扩展参数规模实现性能的提升。然而， 随着模型参数规模的扩大，计算成本也随之增加。 为了解决这个问题，研究人员致力于新型模型架构的设计。
81310编辑于 2025-03-24 - 来自专栏DeepHub IMBA
LLM2Vec介绍和将Llama 3转换为嵌入模型代码示例
这类模型能够学习到数据的分布，并能创造出符合这一分布的新实例，如新的句子或文档。 如GPT系列，通常是decoder-only模型。 这两种架构在设计和应用上有所不同： BERT (Encoder-only)：BERT利用双向Transformer编码器，这意味着它在处理文本时可以同时考虑前面和后面的上下文。 在论文中对encoder-only和decoder-only模型的特点进行了讨论，特别是在解释为什么将decoder-only的大型语言模型（LLM）转换为有效的文本编码器时。 方法详解 论文中描述的LLM2Vec方法在代码层面主要涉及以下几个关键的修改，以将decoder-only模型转换为能够生成丰富文本编码的模型： 启用双向注意力：通常，decoder-only模型使用的是单向 论文的作者还提供了一个脚本: experiments/run_mntp.py 它目前支持Llama和Mistral架构的模型，所以我们直接可以拿来使用 git clone https://github.com
4.2K10编辑于 2024-05-10 - 来自专栏JavaEdge
Tomcat 架构模型
Tomcat 无需任何三方框架，即可实现业务需要（必须有线程池）的运行 servlet 的容器，其线程模型并非不如 Netty！只是使用场景不同而已！
36420发布于 2021-02-23 - 来自专栏微服务生态
SEDA架构模型
一、传统并发模型的缺点 基于线程的并发 ? 特点：每任务一线程直线式的编程使用资源昂高，context切换代价高，竞争锁昂贵太多线程可能导致吞吐量下降，响应时间暴涨。 基于事件的并发模型 ? 特点：单线程处理事件每个并发流实现为一个有限状态机应用直接控制并发负载增加的时候，吞吐量饱和响应时间线性增长 二、SEDA架构 ? 三、小结 SEDA主要还是为了解决传统并发模型的缺点，通过将服务器的处理划分各个Stage，利用queue连接起来形成一个pipeline的处理链，并且在Stage中利用控制器进行资源的调控。 简单来说，我看中的是服务器模型的清晰划分以及反应控制。 因在阅读的过程中感觉非常好，所以转载该文章，转自庄周蝶梦
1.5K30发布于 2018-08-22 - 来自专栏超级架构师
「参考架构模型」使用ArchiMate的参考企业架构模型
在之前的Marc Lankhorst博客中，参考架构的价值得到了突出体现，包括原因和方式。 首先，我们退后一步，并参考参考架构，这些架构被描述为“为特定领域，行业或领域提供参考框架的标准化架构”。 参考模型类型的示例： 业务参考模型（或BRM） 技术参考模型（或TRM） 信息参考模型（或IRM） 有许多行业参考模型可供任何人使用，但真正的优势在于将这些模型转化为组织特定的参考模型 - 这些模型可以促进讨论 当我们谈论企业架构时，很少有参考模型被孤立使用 - 我们需要将它们“链接”到其他区域，因此需要使用标准将参考模型元素绑定到 - 例如ArchiMate。 Microsoft Industry Reference Architecture for Banking 架构修炼之道：亿级网关、平台开放、分布式、微服务、容错等核心技术修炼实践 ￥75.1 购买 技术参考模型
1.6K10发布于 2019-05-30 - 来自专栏时空探索之旅
【重制版】AI论文速读 | 计时器（Timer）：用于大规模时间序列分析的Transformer
，Transformer，LTSM（大时间序列语言模型），统一时间序列数据集（UTSD） TL, DR: 提出了一种新的decoder-only时间序列分析基础模型——Timer，为大时间序列模型（LTSM 同时，论文还分析了模型的可扩展性，包括模型大小和数据规模对性能的影响，以及不同架构对LTSMs的适用性。 部分实验结果说明为什么encoder-only结构在主流时间序列预测领域的流行；即encoder-only模型更适合于小基准，而decoder-only架构具有显著的泛化能力和模型能力，是更适合开发LTSM 对比了不同架构的模型，包括基于MLP的TiDE、基于CNN的TCN、基于RNN的LSTM和基于Transformer的PatchTST，以验证哪种架构最适合作为LTSM的骨干网络。 异常检测 异常检测完整结果 模型扩展性 Timer在不同大小预训练数据集的结果 encoder-only VS decoder-only encoder-only VS decoder-only不同数据稀缺情况下
68410编辑于 2024-11-19 - 来自专栏SimpleAI
Google的 Pathways（理想）与 PaLM（现实）
“ Anyway，还是介绍一下： 一句话介绍： PaLM 是第一款基于 Google Pathways 系统训练的超大规模的语言模型（但依然是经典结构：a dense, decoder-only, full-attention Model： A dense, decoder-only, full-attention Transformer model 使用 SwiGLU Activation，Parallel Layers，Multi-Query ，但是显著高于之前的decoder-only的模型。 （尤其是few-shot），说明了传统的模型架构和训练方法依然有很大的提升空间。 另一方面，PaLM验证了Pathways训练系统的有效性，为下一代的模型架构研发做了经验积累。
1.1K20编辑于 2022-11-30 【多模态大模型面经】 Transformer 专题面经
，我们还需要知道为什么是Encoder-Decoder这样子的架构模式，在现在的主流LLM中，也依然存在着不少Decoder-Only的架构，因此面试官还可能问： 2. 为什么有 Encoder-Decoder 和 Decoder-Only 两种不同的架构？它们各自适合什么场景？ Decoder-Only 架构：适合语言建模、文本生成和自回归任务。 因此，在纯生成任务中，使用 Decoder-Only 架构是可行且高效的，因为模型只需要预测下一个 token，不需要显式处理输入-输出对齐。 主流 LLM 和多模态大模型架构对比表模型 架构类型 输入类型 输出类型 典型应用 GPT 系列 Decoder-Only
86220编辑于 2025-11-16- 来自专栏芋道源码1024
秒杀架构模型设计
本期我们就来探讨一下这个问题 博客的目录 秒杀系统应该考虑的问题 秒杀系统的设计和技术方案 系统架构图 总结 推荐下自己做的 Spring Boot 的实战项目： https://github.com/
67340发布于 2021-09-03 - 来自专栏物流IT圈
架构师能力模型
开发人员职业发展方向 ---- 在说明架构师能力模型前，我得先说明开发人员在职场中的职业发展方向图。 ? 开发者应该根据自己的性格、爱好来选择自己的职业方向。 架构师能力模型 ---- 网上已经有前辈在 2007 年时，已经总结了他对架构师的能力模型的理解。 写得非常详细，见：《架构师的能力模型（图）》、《能力要成体系》、《旧文重发：做人、做事，做架构师——架构师能力模型解析》。 个人觉得，上文中的能力模型有些过于具体，不方便读者按照该模型进行学习。 这些因素为什么会成为架构师能力模型中的关键因素？ 下面我来补充一下我对架构师的能力模型的理解。能力模型分为两个层次。 ? 其它：…… 专业能力层 ---- 通用能力层之上，就是架构师能力模型中第二个层次：专业能力层。这一层的能力越精通，说明越能胜任架构师。 ? 基础能力层：基础能力层的特点是非常简单，但是却非常重要。
2K10发布于 2019-07-25 - 来自专栏openclaw系列
Transformer 架构：重塑序列建模的基石
这一架构不仅实现了训练速度的数量级提升，更成为了随后几年大语言模型（LLM）爆发的技术底座（如 BERT, GPT 系列, LLaMA 等）。 2. 宏观架构：Encoder-Decoder 结构 原始 Transformer 采用经典的 Encoder-Decoder 架构，主要用于机器翻译任务。 注：现代大模型通常只使用其中一部分。 例如，BERT 是 Encoder-only，GPT 系列是 Decoder-only。 4. 结语：大模型时代的引擎 Transformer 不仅仅是一个模型架构，它已经成为人工智能领域的新汇编语言。 Encoder-only 变体（如 BERT）统治了理解类任务。 Decoder-only 变体（如 GPT, LLaMA, Qwen）开启了生成式 AI 和大语言模型的时代。
29420编辑于 2026-03-14 - 来自专栏前端开发
项目开发架构模型
项目开发的整个架构模型 纯服务器渲染模式 : 需要做SEO优化，不推荐 混编模式 : 部分内容是服务器渲染，部分内容是客户端渲染，常见 骨架屏：首屏内容为服务器渲染（目的是让页面一打开，就能把首屏内容加载出来
16710编辑于 2024-03-20
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号