- 综合排序
- 最热优先
- 最新优先
- 来自专栏大模型应用
大模型架构算力对比：Decoder-only、Encoder-Decoder、MoE深度解析.71
二、三种架构的定位1. Decoder-only（仅解码器）架构代表模型：GPT 系列、LLaMA 系列、Qwen 系列等。 模型架构优化：采用 Decoder-only 架构（推理友好，KV 缓存优化空间大），避免 Encoder-Decoder 架构的额外开销。 分工明确，Encoder 负责理解，Decoder 负责生成，在复杂序列任务中，模型能力优于同等算力的 Decoder-only 架构。 理解大模型发展趋势：大模型的发展始终围绕“提升能力”和“降低算力成本” 两个核心，Decoder-only 架构的流行、MoE 模型的兴起，都是算力优化的结果，理解算力差异可以帮助我们把握大模型的未来发展方向 三种大模型架构的算力核心差异主要体现在注意力机制、参数量与计算密度上，整体算力消耗从高到低依次为 Encoder-Decoder、Decoder-only、MoE 架构。
18843编辑于 2026-04-09 - 来自专栏AI智能体从入门到实践
构建AI智能体：Encoder-only与Decoder-only模型架构：基于本地小模型的实践解析
一、前言 在大模型蓬勃发展的今天，我们天天被动输入，一度对这个名字都耳熟能详，但对于主流架构可能还没有接触的很深，大模型的Encoder-only与Decoder-only两大架构犹如两条截然不同的技术路径 内容创作、智能客服、代码生成等场景需要模型具备持续创作能力，这时候Decoder-only架构展现出独特价值。它就像不知疲倦的创作者，能够根据简单提示生成丰富内容。 核心架构Encoder-only模型的核心是Transformer的编码器部分。 Decoder-only 模型就是这样一位成语接龙高手。 代表模型GPT 是 Decoder-only 架构最著名的代表，它的名字就揭示了其本质：生成式预训练Transformer。GPT 的训练目标非常简单直接：预测下一个词。
52832编辑于 2026-01-17 - 来自专栏Python进阶之路
详解为什么现在的 LLMs 大都是 Decoder-only 的架构
首先概述几种主要的架构： Encoder-only：以谷歌的 BERT 为代表。 Encoder-Decoder：以谷歌的 T5、Meta 的 BART 为代表。 基于自回归空白填充的通用语言模型：清华大学的 GLM。 XLNet：XLNet 在那时是一种通用的自回归预训练方法。 通过最大化所有可能的因式分解排列的对数似然，学习双向语境信息；用自回归本身的特点克服 BERT 的缺点；此外，XLNet 还融合了那时最优的自回归模型 Transformer-XL 的思路。 前缀语言模型（Prefix Language Model，PrefixLM）结合掩码语言模型和因果语言模型的优点，同时避免它们的不足。
50800编辑于 2024-05-25 - 来自专栏AI前沿技术
以GPT为代表的Decoder-Only架构凭啥C位出道？
大模型架构可以分为三类 Decoder-Only，Encoder-Only和Encoder-Decoder。 不同架构对应不同的训练任务，并在不同的场景任务上达到SOTA效果。 3）讨论主流厂商的大模型，采用Decoder-only架构的原因。 由于 Encoder 的计算过程可高度并行（无需像 Decoder 那样依赖前序输出逐步生成），这种架构能显著提升推理速度，远快于大型 Decoder-Only 模型。 4，Decoder-Only 架构 4.1，自回归定义 自回归（Auto-regressive model）模型采用经典的语言模型任务进行预训练，即给出上文预测下文，其中最经典的模型是GPT（Generative Decoder-only架构加next token predicition 的方式，每个位置所能接触的信息比其他架构少，要预测下一个token难度更高，当模型足够大，数据足够多的时候，Decoder-only
83010编辑于 2026-01-13 - 来自专栏人工智能
解码器架构：构建智能语言模型的核心设计
在现代自然语言处理领域，Decoder-only（解码器）架构是构建语言模型的重要设计之一。这种架构尤其适合生成任务，例如对话生成、自动摘要、代码补全等。 Decoder-only 架构是基于 Transformer 的一种深度学习模型设计，专注于生成目标序列。它不直接依赖显式的编码器，而是通过自注意力机制处理输入，预测下一个单词或符号。 技术实现：理论与代码分析为了让这一架构更加直观，我们通过 Python 和 PyTorch 展示一个简单的 Decoder-only 模型。 案例研究：GPT 模型的成功实践GPT（Generative Pre-trained Transformer）是 Decoder-only 架构最著名的应用之一。 通过部署 GPT 模型，该平台将用户问题的响应时间缩短了 40%，显著提升了用户体验。这说明 Decoder-only 架构不仅在理论上高效，在实际场景中也具备广泛的适用性。
85210编辑于 2025-01-12 - 来自专栏人工智能
什么是Decoder-only架构？为什么GPT系列专注于预测下一个词？
什么是Decoder-only架构？为什么GPT系列专注于预测下一个词？ 最著名的Decoder-only模型就是GPT系列（GenerativePre-trainedTransformer）。 这就是Decoder-only架构的核心思想：专业化地做好"生成"这一件事。二、为什么需要专门的"生成"模型？ 单向注意力vs双向注意力模型类型注意力方向核心优势典型代表Decoder-only单向（从左到右）自回归生成、避免信息泄露GPTEncoder-only双向完整上下文理解BERTGPT的单向注意力确保了在生成第 就像人类社会中的专业分工一样，AI模型也在向着专业化发展。Decoder-only架构证明了，在特定领域做到极致，往往比试图面面俱到更有效。
34110编辑于 2026-03-06 软件架构 6 个方面
所谓 “架构”，就是将软件的结构打好，然后在结构内按部就班的施工就好了。软件架构 6 个方面软件架构涉及六个维度，分别是 “稳定性”、“高性能”、“一致性”、“扩展性”、“观察性” 和 “安全性”。 没有最好的架构，只有合适的架构。合适的架构就是在对这些维度的平衡与取舍，以最大程度的支撑当前业务的运行。每个方面包含的内容稳定性，异步、调度、容错、隔离、熔断、限流、降级、故障恢复。 这也印证了 “架构是演化出来的，不是一蹴而就的。”可以说这个是 “架构” 的 “架构” 吧，以后只需要完善这个结构，往这个结构中不断添加工具、方法、经验就好了。
26710编辑于 2024-03-25- 来自专栏花落的技术专栏
架构模型DDD 分层架构
整洁架构 整洁架构又名“洋葱架构”。为什么叫它洋葱架构？看看下面这张图你就明白了。整洁架构的层就像洋葱片一样，它体现了分层的设计思想。 我想这也是微服务架构下 API 网关盛行的主要原因吧。 三种微服务架构模型的对比和分析 这三种架构都考虑了前端需求的变与领域模型的不变。 DDD 分层架构、整洁架构、六边形架构都是以领域模型为核心，实行分层架构，内部核心业务逻辑与外部应用、资源隔离并解耦。请务必记好这个设计思想，今后会有大用处。 项目级微服务 项目级微服务的内部遵循分层架构模型就可以了。领域模型的核心逻辑在领域层实现，服务的组合和编排在应用层实现，通过 API 网关为前台应用提供服务，实现前后端分离。 BFF 微服务与其它微服务存在较大的差异，就是它没有领域模型，因此这个微服务内也不会有领域层。
68730发布于 2021-11-23 - 来自专栏DeepHub IMBA
可视化深度学习模型架构的6个常用的方法总结
每层使用的参数 使用了不同的激活函数 本文将使用 Keras 和 PyTorch 构建一个简单的深度学习模型，然后使用不同的工具和技术可视化其架构。 在 Keras 中显示模型架构的最简单就是使用 summary()方法 model.summary() 这个方法是keras内置的实现，他的原理很简单。 True, show_layer_names=True ) Visualkears Visualkears 库只支持 CNN（卷积神经网络）的分层样式架构生成和大多数模型的图形样式架构 print(pytorch_model) 虽然可以看到完整的模型架构，但是效果还没有Keras的内置函数效果好，下面介绍一个很好用的库解决这个问题。 总结 可视化模型架构可以更好的解释深度学习模型。模型结构可视化显示层数、每层数据的输入和输出形状、使用的激活函数以及每层中的参数数量，为优化模型提供更好的理解。
1.3K20编辑于 2022-03-12 - 来自专栏SimpleAI
Huggingface🤗NLP笔记2：一文看清Transformer大家族的三股势力
encoder、decoder既可以单独使用，又可以再一起使用，因此，基于Transformer的模型可以分为三大类： Encoder-only Decoder-only Encoder-Decoder 不同的架构，不同的预训练方式，不同的特长 对于Encoder-only的模型，预训练任务通常是“破坏一个句子，然后让模型去预测或填补”。 对于Decoder-only的模型，预训练任务通常是Next word prediction，这种方式又被称为Causal language modeling。 而Seq2seq架构，由于包含了encoder和decoder，所以预训练的目标通常是融合了各自的目标，但通常还会设计一些更加复杂的目标，比如对于T5模型，会把一句话中一片区域的词都mask掉，然后让模型去预测 seq2seq架构的模型，就适合做翻译、对话等需要根据给定输入来生成输出的任务，这跟decoder-only的模型还是有很大差别的。
4.5K30发布于 2021-10-08 - 来自专栏openclaw系列
Transformer 架构：重塑序列建模的基石
这一架构不仅实现了训练速度的数量级提升，更成为了随后几年大语言模型（LLM）爆发的技术底座（如 BERT, GPT 系列, LLaMA 等）。 2. 宏观架构：Encoder-Decoder 结构 原始 Transformer 采用经典的 Encoder-Decoder 架构，主要用于机器翻译任务。 注：现代大模型通常只使用其中一部分。 例如，BERT 是 Encoder-only，GPT 系列是 Decoder-only。 4. 结语：大模型时代的引擎 Transformer 不仅仅是一个模型架构，它已经成为人工智能领域的新汇编语言。 Encoder-only 变体（如 BERT）统治了理解类任务。 Decoder-only 变体（如 GPT, LLaMA, Qwen）开启了生成式 AI 和大语言模型的时代。
29420编辑于 2026-03-14 - 来自专栏IT从业者张某某
大语言模型-2.23-主流模型架构与新型架构
transformer架构 2.2 主流模型架构 三种主流架构 在预训练语言模型时代，自然语言处理领域广泛采用了预训练 + 微调的范式，并诞生了如下三种主流架构。 以 BERT 为代表的编码器（Encoder-only）架构 以 GPT 为代表的解码器（Decoder-only）架构 以 T5 为代表的编码器-解码器（Encoder-decoder）架构 大规模预训练语言模型 随着 GPT 系列模型的成功发展，当前自然语言处理领域走向了生成式大语言模型的道路，解码器架构已经成为了目前大语言模型的主流架构。 混合专家架构 (Mixture-of-Experts, MoE) 大语言模型能够通过扩展参数规模实现性能的提升。然而， 随着模型参数规模的扩大，计算成本也随之增加。 为了解决这个问题，研究人员致力于新型模型架构的设计。
81310编辑于 2025-03-24 - 来自专栏DeepHub IMBA
LLM2Vec介绍和将Llama 3转换为嵌入模型代码示例
这类模型能够学习到数据的分布，并能创造出符合这一分布的新实例，如新的句子或文档。 如GPT系列，通常是decoder-only模型。 这两种架构在设计和应用上有所不同： BERT (Encoder-only)：BERT利用双向Transformer编码器，这意味着它在处理文本时可以同时考虑前面和后面的上下文。 在论文中对encoder-only和decoder-only模型的特点进行了讨论，特别是在解释为什么将decoder-only的大型语言模型（LLM）转换为有效的文本编码器时。 方法详解 论文中描述的LLM2Vec方法在代码层面主要涉及以下几个关键的修改，以将decoder-only模型转换为能够生成丰富文本编码的模型： 启用双向注意力：通常，decoder-only模型使用的是单向 论文的作者还提供了一个脚本: experiments/run_mntp.py 它目前支持Llama和Mistral架构的模型，所以我们直接可以拿来使用 git clone https://github.com
4.2K10编辑于 2024-05-10 【多模态大模型面经】 Transformer 专题面经
，我们还需要知道为什么是Encoder-Decoder这样子的架构模式，在现在的主流LLM中，也依然存在着不少Decoder-Only的架构，因此面试官还可能问： 2. 为什么有 Encoder-Decoder 和 Decoder-Only 两种不同的架构？它们各自适合什么场景？ Decoder-Only 架构：适合语言建模、文本生成和自回归任务。 因此，在纯生成任务中，使用 Decoder-Only 架构是可行且高效的，因为模型只需要预测下一个 token，不需要显式处理输入-输出对齐。 主流 LLM 和多模态大模型架构对比表模型 架构类型 输入类型 输出类型 典型应用 GPT 系列 Decoder-Only
86220编辑于 2025-11-16- 来自专栏JavaEdge
Tomcat 架构模型
Tomcat 无需任何三方框架，即可实现业务需要（必须有线程池）的运行 servlet 的容器，其线程模型并非不如 Netty！只是使用场景不同而已！
36420发布于 2021-02-23 - 来自专栏微服务生态
SEDA架构模型
一、传统并发模型的缺点 基于线程的并发 ? 特点：每任务一线程直线式的编程使用资源昂高，context切换代价高，竞争锁昂贵太多线程可能导致吞吐量下降，响应时间暴涨。 基于事件的并发模型 ? 特点：单线程处理事件每个并发流实现为一个有限状态机应用直接控制并发负载增加的时候，吞吐量饱和响应时间线性增长 二、SEDA架构 ? 三、小结 SEDA主要还是为了解决传统并发模型的缺点，通过将服务器的处理划分各个Stage，利用queue连接起来形成一个pipeline的处理链，并且在Stage中利用控制器进行资源的调控。 简单来说，我看中的是服务器模型的清晰划分以及反应控制。 因在阅读的过程中感觉非常好，所以转载该文章，转自庄周蝶梦
1.5K30发布于 2018-08-22 - 来自专栏超级架构师
Envoy架构概览(6):异常检测
异常值检测和弹出是动态确定上游群集中的某些主机是否正在执行不同于其他主机的过程，并将其从正常负载平衡集中移除。 性能可能沿着不同的轴线，例如连续的故障，时间成功率，时间延迟等。异常检测是被动健康检查的一种形式。 特使还支持主动健康检查。 被动和主动健康检查可以一起使用或独立使用，形成整体上游健康检查解决方案的基础。 弹射算法 取决于异常值检测的类型，弹出或者以行内（例如在连续5xx的情况下）或以指定的间隔（例如在定期成功率的情况下）运行。 弹射算法的工作原理如下： 主机被确定为异常。 特使检查以确保弹出
1.2K60发布于 2018-04-09 - 来自专栏存储内核技术交流
redis 6多线程模型
redis 多线程架构 redis6之前的版本一直单线程方式解析命令、处理命令，这样的模式实现起来简单，但是无法使用多核CPU的优势，无法达到性能的极致；到了redis 6，redis6采用多线程模式来来读取和解析命令 ，但是命令的执行依然通过队列由主线程串行执行，多线程的好处是分离了命令的解析和命令执行，命令的解析有独立的IO线程进行，命令执行依旧有main线程执行,多线程增加了代码的复杂度 开启多线程模型 Redis.conf readQueryFromClient->processInputBuffer->processCommandAndResetClient->processCommand->call } } } //多线程模型初始化
59520编辑于 2022-08-17 - 来自专栏超级架构师
【服务网格架构】Envoy架构概览(6):异常检测
配置参考 集群管理器全局配置 每个群集配置 运行时设置 统计参考 微信公众号 关注微信公众号【首席架构师智库】 微信小号 希望加入的群：架构，云计算，大数据，数据科学，物联网，人工智能，安全，全栈开发 点击加入知识星球【首席架构师圈】 微信圈子 志趣相投的同好交流。 点击加入微信圈子【首席架构师圈】 喜马拉雅 路上或者车上了解最新黑科技资讯，架构心得。 点击，收听【智能时刻，架构君和你聊黑科技】 知识星球 认识更多朋友，职场和技术闲聊。 点击加入知识星球【知识和技术】
59150发布于 2020-07-20 - 来自专栏超级架构师
【企业架构】投资企业架构工具的 6 个理由
企业架构旨在为企业 IT 的广阔领域及其蓬勃发展的机器和软件集合带来秩序，这是几十年前无法想象的聚宝盆。台式机、平板电脑、手机——一目了然的屏幕。 以下是您的组织值得投资企业架构解决方案的六个原因——以及在依赖 EA 工具时需要牢记的一些问题。 企业架构工具远远超出列表。它们为世界增添了秩序，提供了大量关于通过您企业无穷无尽的硬件收集的大量比特的信息。 然而，重要的是要记住，工具不提供秩序。人们这样做。企业架构工具只是提供建立秩序的手段。 企业架构工具仍然是解决方案，但它们并不神奇。他们承诺维护数据。它们只是您的团队带来秩序的途径。他们不会自己带来秩序。 企业架构打破孤岛 随着差异的增加，组织可能会遭受孤立。 安装企业架构软件不会解决这些深刻的差异，但它会更容易发现这些差异。在企业架构工具中对企业资产进行编目的过程揭示了许多区别，这是建立某种统一性的第一步。中央数据库是变革的催化剂。
50520编辑于 2022-07-29
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号