- 综合排序
- 最热优先
- 最新优先
- 来自专栏AI智能体从入门到实践
构建AI智能体：Encoder-only与Decoder-only模型架构：基于本地小模型的实践解析
一、前言 在大模型蓬勃发展的今天，我们天天被动输入，一度对这个名字都耳熟能详，但对于主流架构可能还没有接触的很深，大模型的Encoder-only与Decoder-only两大架构犹如两条截然不同的技术路径 内容创作、智能客服、代码生成等场景需要模型具备持续创作能力，这时候Decoder-only架构展现出独特价值。它就像不知疲倦的创作者，能够根据简单提示生成丰富内容。 核心架构Encoder-only模型的核心是Transformer的编码器部分。 Decoder-only 模型就是这样一位成语接龙高手。 代表模型GPT 是 Decoder-only 架构最著名的代表，它的名字就揭示了其本质：生成式预训练Transformer。GPT 的训练目标非常简单直接：预测下一个词。
50521编辑于 2026-01-17 - 来自专栏Python进阶之路
详解为什么现在的 LLMs 大都是 Decoder-only 的架构
首先概述几种主要的架构： Encoder-only：以谷歌的 BERT 为代表。 Encoder-Decoder：以谷歌的 T5、Meta 的 BART 为代表。 基于自回归空白填充的通用语言模型：清华大学的 GLM。 XLNet：XLNet 在那时是一种通用的自回归预训练方法。 通过最大化所有可能的因式分解排列的对数似然，学习双向语境信息；用自回归本身的特点克服 BERT 的缺点；此外，XLNet 还融合了那时最优的自回归模型 Transformer-XL 的思路。 前缀语言模型（Prefix Language Model，PrefixLM）结合掩码语言模型和因果语言模型的优点，同时避免它们的不足。
50400编辑于 2024-05-25 - 来自专栏AI前沿技术
以GPT为代表的Decoder-Only架构凭啥C位出道？
大模型架构可以分为三类 Decoder-Only，Encoder-Only和Encoder-Decoder。 不同架构对应不同的训练任务，并在不同的场景任务上达到SOTA效果。 3）讨论主流厂商的大模型，采用Decoder-only架构的原因。 由于 Encoder 的计算过程可高度并行（无需像 Decoder 那样依赖前序输出逐步生成），这种架构能显著提升推理速度，远快于大型 Decoder-Only 模型。 4，Decoder-Only 架构 4.1，自回归定义 自回归（Auto-regressive model）模型采用经典的语言模型任务进行预训练，即给出上文预测下文，其中最经典的模型是GPT（Generative Decoder-only架构加next token predicition 的方式，每个位置所能接触的信息比其他架构少，要预测下一个token难度更高，当模型足够大，数据足够多的时候，Decoder-only
71910编辑于 2026-01-13 - 来自专栏人工智能
什么是Decoder-only架构？为什么GPT系列专注于预测下一个词？
什么是Decoder-only架构？为什么GPT系列专注于预测下一个词？ 最著名的Decoder-only模型就是GPT系列（GenerativePre-trainedTransformer）。 这就是Decoder-only架构的核心思想：专业化地做好"生成"这一件事。二、为什么需要专门的"生成"模型？ 单向注意力vs双向注意力模型类型注意力方向核心优势典型代表Decoder-only单向（从左到右）自回归生成、避免信息泄露GPTEncoder-only双向完整上下文理解BERTGPT的单向注意力确保了在生成第 就像人类社会中的专业分工一样，AI模型也在向着专业化发展。Decoder-only架构证明了，在特定领域做到极致，往往比试图面面俱到更有效。
29210编辑于 2026-03-06 - 来自专栏人工智能
解码器架构：构建智能语言模型的核心设计
在现代自然语言处理领域，Decoder-only（解码器）架构是构建语言模型的重要设计之一。这种架构尤其适合生成任务，例如对话生成、自动摘要、代码补全等。 Decoder-only 架构是基于 Transformer 的一种深度学习模型设计，专注于生成目标序列。它不直接依赖显式的编码器，而是通过自注意力机制处理输入，预测下一个单词或符号。 技术实现：理论与代码分析为了让这一架构更加直观，我们通过 Python 和 PyTorch 展示一个简单的 Decoder-only 模型。 案例研究：GPT 模型的成功实践GPT（Generative Pre-trained Transformer）是 Decoder-only 架构最著名的应用之一。 通过部署 GPT 模型，该平台将用户问题的响应时间缩短了 40%，显著提升了用户体验。这说明 Decoder-only 架构不仅在理论上高效，在实际场景中也具备广泛的适用性。
82010编辑于 2025-01-12 - 来自专栏花落的技术专栏
架构模型DDD 分层架构
整洁架构 整洁架构又名“洋葱架构”。为什么叫它洋葱架构？看看下面这张图你就明白了。整洁架构的层就像洋葱片一样，它体现了分层的设计思想。 我想这也是微服务架构下 API 网关盛行的主要原因吧。 三种微服务架构模型的对比和分析 这三种架构都考虑了前端需求的变与领域模型的不变。 DDD 分层架构、整洁架构、六边形架构都是以领域模型为核心，实行分层架构，内部核心业务逻辑与外部应用、资源隔离并解耦。请务必记好这个设计思想，今后会有大用处。 项目级微服务 项目级微服务的内部遵循分层架构模型就可以了。领域模型的核心逻辑在领域层实现，服务的组合和编排在应用层实现，通过 API 网关为前台应用提供服务，实现前后端分离。 BFF 微服务与其它微服务存在较大的差异，就是它没有领域模型，因此这个微服务内也不会有领域层。
68130发布于 2021-11-23 - 来自专栏SimpleAI
Huggingface🤗NLP笔记2：一文看清Transformer大家族的三股势力
encoder、decoder既可以单独使用，又可以再一起使用，因此，基于Transformer的模型可以分为三大类： Encoder-only Decoder-only Encoder-Decoder 不同的架构，不同的预训练方式，不同的特长 对于Encoder-only的模型，预训练任务通常是“破坏一个句子，然后让模型去预测或填补”。 对于Decoder-only的模型，预训练任务通常是Next word prediction，这种方式又被称为Causal language modeling。 而Seq2seq架构，由于包含了encoder和decoder，所以预训练的目标通常是融合了各自的目标，但通常还会设计一些更加复杂的目标，比如对于T5模型，会把一句话中一片区域的词都mask掉，然后让模型去预测 seq2seq架构的模型，就适合做翻译、对话等需要根据给定输入来生成输出的任务，这跟decoder-only的模型还是有很大差别的。
4.5K30发布于 2021-10-08 - 来自专栏IT从业者张某某
大语言模型-2.23-主流模型架构与新型架构
transformer架构 2.2 主流模型架构 三种主流架构 在预训练语言模型时代，自然语言处理领域广泛采用了预训练 + 微调的范式，并诞生了如下三种主流架构。 以 BERT 为代表的编码器（Encoder-only）架构 以 GPT 为代表的解码器（Decoder-only）架构 以 T5 为代表的编码器-解码器（Encoder-decoder）架构 大规模预训练语言模型 随着 GPT 系列模型的成功发展，当前自然语言处理领域走向了生成式大语言模型的道路，解码器架构已经成为了目前大语言模型的主流架构。 混合专家架构 (Mixture-of-Experts, MoE) 大语言模型能够通过扩展参数规模实现性能的提升。然而， 随着模型参数规模的扩大，计算成本也随之增加。 为了解决这个问题，研究人员致力于新型模型架构的设计。
79910编辑于 2025-03-24 - 来自专栏JavaEdge
Tomcat 架构模型
Tomcat 无需任何三方框架，即可实现业务需要（必须有线程池）的运行 servlet 的容器，其线程模型并非不如 Netty！只是使用场景不同而已！
36420发布于 2021-02-23 - 来自专栏DeepHub IMBA
LLM2Vec介绍和将Llama 3转换为嵌入模型代码示例
这类模型能够学习到数据的分布，并能创造出符合这一分布的新实例，如新的句子或文档。 如GPT系列，通常是decoder-only模型。 这两种架构在设计和应用上有所不同： BERT (Encoder-only)：BERT利用双向Transformer编码器，这意味着它在处理文本时可以同时考虑前面和后面的上下文。 在论文中对encoder-only和decoder-only模型的特点进行了讨论，特别是在解释为什么将decoder-only的大型语言模型（LLM）转换为有效的文本编码器时。 方法详解 论文中描述的LLM2Vec方法在代码层面主要涉及以下几个关键的修改，以将decoder-only模型转换为能够生成丰富文本编码的模型： 启用双向注意力：通常，decoder-only模型使用的是单向 论文的作者还提供了一个脚本: experiments/run_mntp.py 它目前支持Llama和Mistral架构的模型，所以我们直接可以拿来使用 git clone https://github.com
4.2K10编辑于 2024-05-10 - 来自专栏微服务生态
SEDA架构模型
一、传统并发模型的缺点 基于线程的并发 ? 特点：每任务一线程直线式的编程使用资源昂高，context切换代价高，竞争锁昂贵太多线程可能导致吞吐量下降，响应时间暴涨。 基于事件的并发模型 ? 特点：单线程处理事件每个并发流实现为一个有限状态机应用直接控制并发负载增加的时候，吞吐量饱和响应时间线性增长 二、SEDA架构 ? 三、小结 SEDA主要还是为了解决传统并发模型的缺点，通过将服务器的处理划分各个Stage，利用queue连接起来形成一个pipeline的处理链，并且在Stage中利用控制器进行资源的调控。 简单来说，我看中的是服务器模型的清晰划分以及反应控制。 因在阅读的过程中感觉非常好，所以转载该文章，转自庄周蝶梦
1.5K30发布于 2018-08-22 - 来自专栏超级架构师
「参考架构模型」使用ArchiMate的参考企业架构模型
在之前的Marc Lankhorst博客中，参考架构的价值得到了突出体现，包括原因和方式。 首先，我们退后一步，并参考参考架构，这些架构被描述为“为特定领域，行业或领域提供参考框架的标准化架构”。 参考模型类型的示例： 业务参考模型（或BRM） 技术参考模型（或TRM） 信息参考模型（或IRM） 有许多行业参考模型可供任何人使用，但真正的优势在于将这些模型转化为组织特定的参考模型 - 这些模型可以促进讨论 当我们谈论企业架构时，很少有参考模型被孤立使用 - 我们需要将它们“链接”到其他区域，因此需要使用标准将参考模型元素绑定到 - 例如ArchiMate。 Microsoft Industry Reference Architecture for Banking 架构修炼之道：亿级网关、平台开放、分布式、微服务、容错等核心技术修炼实践 ￥75.1 购买 技术参考模型
1.6K10发布于 2019-05-30 - 来自专栏时空探索之旅
【重制版】AI论文速读 | 计时器（Timer）：用于大规模时间序列分析的Transformer
，Transformer，LTSM（大时间序列语言模型），统一时间序列数据集（UTSD） TL, DR: 提出了一种新的decoder-only时间序列分析基础模型——Timer，为大时间序列模型（LTSM 同时，论文还分析了模型的可扩展性，包括模型大小和数据规模对性能的影响，以及不同架构对LTSMs的适用性。 部分实验结果说明为什么encoder-only结构在主流时间序列预测领域的流行；即encoder-only模型更适合于小基准，而decoder-only架构具有显著的泛化能力和模型能力，是更适合开发LTSM 对比了不同架构的模型，包括基于MLP的TiDE、基于CNN的TCN、基于RNN的LSTM和基于Transformer的PatchTST，以验证哪种架构最适合作为LTSM的骨干网络。 异常检测 异常检测完整结果 模型扩展性 Timer在不同大小预训练数据集的结果 encoder-only VS decoder-only encoder-only VS decoder-only不同数据稀缺情况下
66910编辑于 2024-11-19 - 来自专栏芋道源码1024
秒杀架构模型设计
本期我们就来探讨一下这个问题 博客的目录 秒杀系统应该考虑的问题 秒杀系统的设计和技术方案 系统架构图 总结 推荐下自己做的 Spring Boot 的实战项目： https://github.com/
67340发布于 2021-09-03 - 来自专栏物流IT圈
架构师能力模型
开发人员职业发展方向 ---- 在说明架构师能力模型前，我得先说明开发人员在职场中的职业发展方向图。 ? 开发者应该根据自己的性格、爱好来选择自己的职业方向。 架构师能力模型 ---- 网上已经有前辈在 2007 年时，已经总结了他对架构师的能力模型的理解。 写得非常详细，见：《架构师的能力模型（图）》、《能力要成体系》、《旧文重发：做人、做事，做架构师——架构师能力模型解析》。 个人觉得，上文中的能力模型有些过于具体，不方便读者按照该模型进行学习。 这些因素为什么会成为架构师能力模型中的关键因素？ 下面我来补充一下我对架构师的能力模型的理解。能力模型分为两个层次。 ? 其它：…… 专业能力层 ---- 通用能力层之上，就是架构师能力模型中第二个层次：专业能力层。这一层的能力越精通，说明越能胜任架构师。 ? 基础能力层：基础能力层的特点是非常简单，但是却非常重要。
2K10发布于 2019-07-25 - 来自专栏devops_k8s
秒杀架构模型设计
前言：秒杀系统相信很多人见过，比如京东或者淘宝的秒杀，小米手机的秒杀，那么秒杀系统的后台是如何实现的呢？我们如何设计一个秒杀系统呢？对于秒杀系统应该考虑哪些问题？如何设计出健壮的秒杀系统？本期我们就来探讨一下这个问题:
51810发布于 2021-11-07 - 来自专栏前端开发
项目开发架构模型
项目开发的整个架构模型 纯服务器渲染模式 : 需要做SEO优化，不推荐 混编模式 : 部分内容是服务器渲染，部分内容是客户端渲染，常见 骨架屏：首屏内容为服务器渲染（目的是让页面一打开，就能把首屏内容加载出来
16410编辑于 2024-03-20 - 来自专栏Java架构-筑基
nginx架构模型分析
一、Nginx架构 ---- Nginx由内核和模块组成，从官方文档http://nginx.org/en/docs/下的Modules reference可以看到一些比较重要的模块，一般分为核心、基础模块以及第三方模块 二、nginx进程模型 ---- 2.1 多进程模型 Nginx之所以为广大码农喜爱，除了其高性能外，还有其优雅的系统架构。与Memcached的经典多线程模型相比，Nginx是经典的多进程模型。 Nginx启动后以daemon的方式在后台运行，后台进程包含一个master进程和多个worker进程，具体如下图： 2.2 多进程模型的好处 对于每个worker进程来说，独立的进程，不需要加锁，所以省掉了锁带来的开销
1.2K00发布于 2019-05-17 - 来自专栏专注于java领域技术分析
大型网站架构技术模型
一 网站技术架构设计模式 1.1 分层 如下所示网站基本分层 ? 三层架构逻辑上可以部署在同一台物理机上，但随着网站业务的发展，必须要对已分层的模块进行分开部署，也就是三层结构分别部署在不同的服务器上。使网站拥有越来越多的计算资源以应对越来越多的用户访问。
1.5K30发布于 2020-09-08 - 来自专栏大龄程序员的人工智能之路
微架构模型：GoogleNet
采用了微架构，而到目前为止，我们接触到的模型都是序列(sequential)模型。所谓序列，就是前一层的输出直接输出到下一层。 但GoogleNet却采用了微架构，来自一个层的输出可以分成多个不同的路径并且稍后重新连接到一起。 Inception模块及其变种 Inception模块是一种微架构模块，所谓微架构，就是由深度学习从业者设计的小型构建块，它使得网络能够在增加网络深度的前提下更快地学习，而且更高效。 而这些微架构构建块与诸如CONV、POOL等传统类型的层堆叠在一起，可以形成宏架构（macro-architecture）。 但在编码之前，我们先了解一下Keras中的两种类型的模型。 序列（Sequential）模型: 在我们之前代码中用到的模型为序列模型，它是最简单的线性结构，从头到尾顺序连接，不分叉。
55920发布于 2019-07-02
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号