- 综合排序
- 最热优先
- 最新优先
- 来自专栏大模型应用
大模型架构算力对比：Decoder-only、Encoder-Decoder、MoE深度解析.71
二、三种架构的定位1. Decoder-only（仅解码器）架构代表模型：GPT 系列、LLaMA 系列、Qwen 系列等。 模型架构优化：采用 Decoder-only 架构（推理友好，KV 缓存优化空间大），避免 Encoder-Decoder 架构的额外开销。 分工明确，Encoder 负责理解，Decoder 负责生成，在复杂序列任务中，模型能力优于同等算力的 Decoder-only 架构。 理解大模型发展趋势：大模型的发展始终围绕“提升能力”和“降低算力成本” 两个核心，Decoder-only 架构的流行、MoE 模型的兴起，都是算力优化的结果，理解算力差异可以帮助我们把握大模型的未来发展方向 三种大模型架构的算力核心差异主要体现在注意力机制、参数量与计算密度上，整体算力消耗从高到低依次为 Encoder-Decoder、Decoder-only、MoE 架构。
18843编辑于 2026-04-09 - 来自专栏AI智能体从入门到实践
构建AI智能体：Encoder-only与Decoder-only模型架构：基于本地小模型的实践解析
一、前言 在大模型蓬勃发展的今天，我们天天被动输入，一度对这个名字都耳熟能详，但对于主流架构可能还没有接触的很深，大模型的Encoder-only与Decoder-only两大架构犹如两条截然不同的技术路径 内容创作、智能客服、代码生成等场景需要模型具备持续创作能力，这时候Decoder-only架构展现出独特价值。它就像不知疲倦的创作者，能够根据简单提示生成丰富内容。 核心架构Encoder-only模型的核心是Transformer的编码器部分。 Decoder-only 模型就是这样一位成语接龙高手。 代表模型GPT 是 Decoder-only 架构最著名的代表，它的名字就揭示了其本质：生成式预训练Transformer。GPT 的训练目标非常简单直接：预测下一个词。
52832编辑于 2026-01-17 - 来自专栏喔家ArchiSelf
大模型应用的10个架构挑战
基于笔者近年来的探索与实践，这里列举了面向大模型应用系统架构设计的10个挑战。 1. 生产环境的挑战——推理框架的选择 对于大模型应用而言，生成环境的运行时是一个推理架构。 尽管我们已经有了一些探索，例如《大模型应用的10个架构模式》(https://mp.weixin.qq.com/s? 大模型应用的架构模式不仅仅是一种范式，很可能成为未来智能系统赖以成长的框架。随着我们们继续探索和创新，还会涌现出很多新的架构模式。 8. 虽然大模型在人工智能领域具有广泛的应用前景，但并不是所有场景都适合使用大模型。在设计系统架构时，我们需要根据具体需求和技术挑战来判断是否需要引入大模型，以确保系统的高效性和可靠性。 10. 这些挑战要求我们架构上综合考虑技术、安全和运营等多方面因素，以推动大模型应用的落地。
1.2K10编辑于 2024-12-24 - 来自专栏Python进阶之路
详解为什么现在的 LLMs 大都是 Decoder-only 的架构
首先概述几种主要的架构： Encoder-only：以谷歌的 BERT 为代表。 Encoder-Decoder：以谷歌的 T5、Meta 的 BART 为代表。 基于自回归空白填充的通用语言模型：清华大学的 GLM。 XLNet：XLNet 在那时是一种通用的自回归预训练方法。 通过最大化所有可能的因式分解排列的对数似然，学习双向语境信息；用自回归本身的特点克服 BERT 的缺点；此外，XLNet 还融合了那时最优的自回归模型 Transformer-XL 的思路。 前缀语言模型（Prefix Language Model，PrefixLM）结合掩码语言模型和因果语言模型的优点，同时避免它们的不足。
50800编辑于 2024-05-25 - 来自专栏AI前沿技术
以GPT为代表的Decoder-Only架构凭啥C位出道？
大模型架构可以分为三类 Decoder-Only，Encoder-Only和Encoder-Decoder。 不同架构对应不同的训练任务，并在不同的场景任务上达到SOTA效果。 3）讨论主流厂商的大模型，采用Decoder-only架构的原因。 由于 Encoder 的计算过程可高度并行（无需像 Decoder 那样依赖前序输出逐步生成），这种架构能显著提升推理速度，远快于大型 Decoder-Only 模型。 4，Decoder-Only 架构 4.1，自回归定义 自回归（Auto-regressive model）模型采用经典的语言模型任务进行预训练，即给出上文预测下文，其中最经典的模型是GPT（Generative Decoder-only架构加next token predicition 的方式，每个位置所能接触的信息比其他架构少，要预测下一个token难度更高，当模型足够大，数据足够多的时候，Decoder-only
83010编辑于 2026-01-13 - 来自专栏喔家ArchiSelf
大模型应用的10种架构模式
作为一位老码农，我在这里整理总结了一些针对大模型应用的设计方法和架构模式，试图应对和解决大模型应用实现中的一些挑战，如成本问题、延迟问题以及生成的不准确性等。 10. 双重安全模式 围绕大型语言模型（LLM）的核心安全性至少包含两个关键组件：一是用户组件，我们将其称为用户Proxy代理；二是防火墙，它为模型提供了保护层。 没有结束 老码农认为，这些大模型应用的架构模式不仅仅是一种范式，很可能成为未来智能系统赖以成长的框架。 随着我们们继续探索和创新，还会涌现出很多新的架构模式，而且这里的10个架构模式以及新涌现的架构模式可能成为人工智能服务的表现形态。 我希望能够持续更新本系列，也希望对此有兴趣的朋友联系我， 共同研究探索，致力于大模型应用的架构模式。
5.1K11编辑于 2024-04-03 - 来自专栏深度学习与python
大模型应用的 10 种架构模式
作为一位老码农，我在这里整理总结了一些针对大模型应用的设计方法和架构模式，试图应对和解决大模型应用实现中的一些挑战，如成本问题、延迟问题以及生成的不准确性等。 1. 多任务微调模式 在这种架构模式中，我们对大型语言模型进行了微调，使其能够同时处理多个任务，而非仅仅针对单个任务。这是一种跨领域知识和技能迁移学习的方法，大大增强了模型的多功能性。 10. 双重安全模式 围绕大型语言模型（LLM）的核心安全性至少包含两个关键组件：一是用户组件，我们将其称为用户 Proxy 代理；二是防火墙，它为模型提供了保护层。 没有结束 老码农认为，这些大模型应用的架构模式不仅仅是一种范式，很可能成为未来智能系统赖以成长的框架。 随着我们们继续探索和创新，还会涌现出很多新的架构模式，而且这里的 10 个架构模式以及新涌现的架构模式可能成为人工智能服务的表现形态。
86610编辑于 2024-04-12 - 来自专栏人工智能
什么是Decoder-only架构？为什么GPT系列专注于预测下一个词？
什么是Decoder-only架构？为什么GPT系列专注于预测下一个词？ 最著名的Decoder-only模型就是GPT系列（GenerativePre-trainedTransformer）。 这就是Decoder-only架构的核心思想：专业化地做好"生成"这一件事。二、为什么需要专门的"生成"模型？ 单向注意力vs双向注意力模型类型注意力方向核心优势典型代表Decoder-only单向（从左到右）自回归生成、避免信息泄露GPTEncoder-only双向完整上下文理解BERTGPT的单向注意力确保了在生成第 就像人类社会中的专业分工一样，AI模型也在向着专业化发展。Decoder-only架构证明了，在特定领域做到极致，往往比试图面面俱到更有效。
34110编辑于 2026-03-06 - 来自专栏人工智能
解码器架构：构建智能语言模型的核心设计
在现代自然语言处理领域，Decoder-only（解码器）架构是构建语言模型的重要设计之一。这种架构尤其适合生成任务，例如对话生成、自动摘要、代码补全等。 Decoder-only 架构是基于 Transformer 的一种深度学习模型设计，专注于生成目标序列。它不直接依赖显式的编码器，而是通过自注意力机制处理输入，预测下一个单词或符号。 技术实现：理论与代码分析为了让这一架构更加直观，我们通过 Python 和 PyTorch 展示一个简单的 Decoder-only 模型。 案例研究：GPT 模型的成功实践GPT（Generative Pre-trained Transformer）是 Decoder-only 架构最著名的应用之一。 通过部署 GPT 模型，该平台将用户问题的响应时间缩短了 40%，显著提升了用户体验。这说明 Decoder-only 架构不仅在理论上高效，在实际场景中也具备广泛的适用性。
85210编辑于 2025-01-12 - 来自专栏花落的技术专栏
架构模型DDD 分层架构
整洁架构 整洁架构又名“洋葱架构”。为什么叫它洋葱架构？看看下面这张图你就明白了。整洁架构的层就像洋葱片一样，它体现了分层的设计思想。 我想这也是微服务架构下 API 网关盛行的主要原因吧。 三种微服务架构模型的对比和分析 这三种架构都考虑了前端需求的变与领域模型的不变。 DDD 分层架构、整洁架构、六边形架构都是以领域模型为核心，实行分层架构，内部核心业务逻辑与外部应用、资源隔离并解耦。请务必记好这个设计思想，今后会有大用处。 项目级微服务 项目级微服务的内部遵循分层架构模型就可以了。领域模型的核心逻辑在领域层实现，服务的组合和编排在应用层实现，通过 API 网关为前台应用提供服务，实现前后端分离。 BFF 微服务与其它微服务存在较大的差异，就是它没有领域模型，因此这个微服务内也不会有领域层。
68730发布于 2021-11-23 - 来自专栏SimpleAI
Huggingface🤗NLP笔记2：一文看清Transformer大家族的三股势力
encoder、decoder既可以单独使用，又可以再一起使用，因此，基于Transformer的模型可以分为三大类： Encoder-only Decoder-only Encoder-Decoder 不同的架构，不同的预训练方式，不同的特长 对于Encoder-only的模型，预训练任务通常是“破坏一个句子，然后让模型去预测或填补”。 对于Decoder-only的模型，预训练任务通常是Next word prediction，这种方式又被称为Causal language modeling。 而Seq2seq架构，由于包含了encoder和decoder，所以预训练的目标通常是融合了各自的目标，但通常还会设计一些更加复杂的目标，比如对于T5模型，会把一句话中一片区域的词都mask掉，然后让模型去预测 seq2seq架构的模型，就适合做翻译、对话等需要根据给定输入来生成输出的任务，这跟decoder-only的模型还是有很大差别的。
4.5K30发布于 2021-10-08 - 来自专栏Reck Zhang
Java 10 - 内存模型
内存模型 主存储器与工作存储器 主存储器 方法区(Method Area) 方法区用于存储类的信息, 常量, 静态变量, 即时编译器编译后的代码. 栈(Java Virtual Machine Stacks) 代表着Java方法执行的内存模型, 每个方法执行时都会创建一个栈帧来存储方法的变量表, 操作数栈, 动态链接方法, 返回值, 返回地址等信息
37720发布于 2021-08-11 - 来自专栏时空探索之旅
【重制版】AI论文速读 | 计时器（Timer）：用于大规模时间序列分析的Transformer
在预训练过程中，本文整理了多达 10 亿个时间点的大规模数据集，将异构时间序列统一为单序列序列 (single-series sequence，S3) 格式，并开发面向 LTSM 的 GPT 风格架构。 统一时间序列数据集 (UTSD) UTSD包含7个域，包含多达10亿个时间点（UTSD-12G），涵盖了时间序列分析的典型场景。 同时，论文还分析了模型的可扩展性，包括模型大小和数据规模对性能的影响，以及不同架构对LTSMs的适用性。 部分实验结果说明为什么encoder-only结构在主流时间序列预测领域的流行；即encoder-only模型更适合于小基准，而decoder-only架构具有显著的泛化能力和模型能力，是更适合开发LTSM 异常检测 异常检测完整结果 模型扩展性 Timer在不同大小预训练数据集的结果 encoder-only VS decoder-only encoder-only VS decoder-only不同数据稀缺情况下
68410编辑于 2024-11-19 - 来自专栏深度学习与python
又一国产大模型来了，超对称联合复旦大学发布 120 亿参数语言模型 BBT-2， 已开源
2022 年 5 月超对称技术公司发布了大语言模型 Big Bang Transformer【乾元】的第一版 BBT-1，10 亿参数预训练语言模型，在中文金融语料上训练而成。 , 训了 600 亿 Tokens： （1）BBT-1-0.2B-001：2 亿参数，金融模型，T5 Decoder+Encoder 架构 （2）BBT-1-0.2B-002: 2 亿参数，金融模型，T5 +GPT （3）BBT-1-0.2B-003: 2 亿参数，金融模型，T5+UL2 BBT-1-1B：10 亿参数金融模型，T5 Encoder+Decoder 架构，使用金融中文语料库 1000 亿 tokens 进行预训练，包含社交媒体，财经新闻，券商研报，公司公告财报等数据 BBT-2-12B-Text：120 亿参数基础模型，GPT Decoder-Only 架构，未经指令微调，完成 2000 亿 token 预训练，模型性能还有较大提升空间，开发者可在通用模型上继续训练或进行下游任务微调 BBT-2.5-13B-Text: 130 亿参数基础模型，GPT Decoder-Only 架构，未经指令微调
50710编辑于 2023-04-30 - 来自专栏Python与算法之美
10，模型的优化
搜索超参数空间以优化超参数需要明确以下方面： 估计器 超参数空间 交叉验证方案 打分函数 搜寻或采样方法（网格搜索法或随机搜索法） 优化模型的常见方法包括 网格搜索法，随机搜索法，模型特定交叉验证， 三， 模型特定交叉验证 一些特定的模型，sklearn构建了一些内部含有交叉验证优化机制的估计器。 它们主要是在linear_model模块。 四， 信息准则优化 模型选择主要由两个思路。 解释性框架：好的模型应该是最能解释现有数据的模型。可以用似然函数来度量模型对数据集描述能力。 预测性框架：好的模型应该是最能预测结果的模型。 通常模型参数越多越复杂，越容易出现过拟合。 所以，模型选择问题在模型复杂度与模型对数据集描述能力（即似然函数）之间寻求最佳平衡。 AIC(赤池信息准则)和BIC(贝叶斯信息准则)对模型的选择提供了一种判据。 AIC信息准则选择AIC最大的模型。 BIC信息准则选择BIC最大的模型。
77421发布于 2020-07-17 - 来自专栏阿杜的世界
10个常见软件架构
原文参见：10 Common Software Architectural Patterns in a nutshell 在开始一个大型项目之前，我们需要进行详细的系统分析，尽量选择合适的架构，这样方便我们快速交付和后期维护升级 ，这篇文章总结了10种常见的架构模式。 在阅读这篇文章的时候，我想到了之前读过的一本书——《企业应用架构模式》，这本书偏理论，但是对理解大型系统的构建很有帮助。 架构模式的定义：架构模式是在给定的场景下，前人总结出来的通用的、可重复利用的解决方案。架构模式和设计模式的作用类似，但是它针对的范围更加广泛。 下面这张图值得收藏，讲了这几种架构模式的trade-off ? image.png
1.4K30发布于 2018-12-14 【多模态大模型面经】 Transformer 专题面经
，我们还需要知道为什么是Encoder-Decoder这样子的架构模式，在现在的主流LLM中，也依然存在着不少Decoder-Only的架构，因此面试官还可能问： 2. 为什么有 Encoder-Decoder 和 Decoder-Only 两种不同的架构？它们各自适合什么场景？ Decoder-Only 架构：适合语言建模、文本生成和自回归任务。 因此，在纯生成任务中，使用 Decoder-Only 架构是可行且高效的，因为模型只需要预测下一个 token，不需要显式处理输入-输出对齐。 主流 LLM 和多模态大模型架构对比表模型 架构类型 输入类型 输出类型 典型应用 GPT 系列 Decoder-Only
86220编辑于 2025-11-16- 来自专栏IT从业者张某某
大语言模型-2.23-主流模型架构与新型架构
transformer架构 2.2 主流模型架构 三种主流架构 在预训练语言模型时代，自然语言处理领域广泛采用了预训练 + 微调的范式，并诞生了如下三种主流架构。 以 BERT 为代表的编码器（Encoder-only）架构 以 GPT 为代表的解码器（Decoder-only）架构 以 T5 为代表的编码器-解码器（Encoder-decoder）架构 大规模预训练语言模型 随着 GPT 系列模型的成功发展，当前自然语言处理领域走向了生成式大语言模型的道路，解码器架构已经成为了目前大语言模型的主流架构。 混合专家架构 (Mixture-of-Experts, MoE) 大语言模型能够通过扩展参数规模实现性能的提升。然而， 随着模型参数规模的扩大，计算成本也随之增加。 为了解决这个问题，研究人员致力于新型模型架构的设计。
81310编辑于 2025-03-24 - 来自专栏DeepHub IMBA
LLM2Vec介绍和将Llama 3转换为嵌入模型代码示例
这类模型能够学习到数据的分布，并能创造出符合这一分布的新实例，如新的句子或文档。 如GPT系列，通常是decoder-only模型。 这两种架构在设计和应用上有所不同： BERT (Encoder-only)：BERT利用双向Transformer编码器，这意味着它在处理文本时可以同时考虑前面和后面的上下文。 在论文中对encoder-only和decoder-only模型的特点进行了讨论，特别是在解释为什么将decoder-only的大型语言模型（LLM）转换为有效的文本编码器时。 方法详解 论文中描述的LLM2Vec方法在代码层面主要涉及以下几个关键的修改，以将decoder-only模型转换为能够生成丰富文本编码的模型： 启用双向注意力：通常，decoder-only模型使用的是单向 论文的作者还提供了一个脚本: experiments/run_mntp.py 它目前支持Llama和Mistral架构的模型，所以我们直接可以拿来使用 git clone https://github.com
4.2K10编辑于 2024-05-10 - 来自专栏GoCoding
Transformer 从零开始
Alammar② Building Transformer Models - Jason Brownlee③ Transformer - Dive into Deep Learning从零开始2025-10 例如，DeepSeek 归纳了 5 条核心进化线，如果把大模型比作一辆车：Attention 是 引擎（GQA/MLA 是省油技术）；Normalization 是 底盘悬挂（RMSNorm 保证行驶稳定 ）；激活函数 是 燃油标号（SwiGLU 是高标号汽油）；位置编码 是 导航系统（RoPE 让你知道该去哪）；架构 是 车身设计（Decode-Only 最终统一了赛道）。 架构进化Encoder-Decoder: 原始，适合 Seq2Seq 任务Decoder-only (Causal): 当前，经过 Scaling Laws 验证Attention 进化KV Cache 解耦计算计算模式优化，Sliding Window Attention (滑动窗口注意力)FlashAttention: 改进 GPU 的访存算法Sparse Attention (稀疏注意力)位置编码进化让模型理解顺序
10310编辑于 2026-03-16
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号