- 综合排序
- 最热优先
- 最新优先
- 来自专栏计算机视觉
Transformer 架构—Encoder-Decoder
前言 最初的Transformer是基于广泛应用在机器翻译领域的Encoder-Decoder架构： Encoder： 将由 token 组成的输入序列转成由称为隐藏状态（hidden state）或者上下文 （3）Encoder-Decoder 它们用于对从一个文本序列到另一个文本序列的复杂映射进行建模，比如机器翻译和文本摘要。 三、Encoder-Decoder 家族 尽管使用单个 encoder 或 decoder 堆栈构建模型已变得很常见，但 Transformer 架构有多种 encoder-decoder 变体，它们在 所有任务都被构建为序列到序列的任务，其中采用 encoder-decoder 架构是很自然的。 BART BART 在 encoder-decoder 架构中结合了 BERT 和 GPT 的预训练过程。
2.2K10编辑于 2024-03-19 - 来自专栏计算机视觉理论及其实现
Encoder-Decoder with Atrous SeparableConvolution for Semantic Image Segmentation
在这项工作中,我们考虑两种类型的神经网络,使用空间金字塔池模块或encoder-decoder结构语义分割，前一个捕捉丰富的上下文信息,通过集中特性在不同的决议,而后者是能够获得锋利的物体边界。 Encoder-decoder: 编解码器网络已成功应用于许多计算机视觉任务，包括人体姿态估计，目标检测，以及语义分割。 3.1 Encoder-Decoder with Atrous ConvolutionAtrous convolution：Atrous卷积是一种强大的工具，它允许我们明确地控制由深度卷积神经网络计算的特征的分辨率
1.7K20编辑于 2022-09-02 - 来自专栏产品经理的人工智能学习库
Encoder-Decoder 和 Seq2Seq
Encoder-Decoder 是 NLP 领域里的一种模型框架。它被广泛用于机器翻译、语音识别等任务。 本文将详细介绍 Encoder-Decoder、Seq2Seq 以及他们的升级方案Attention。 什么是 Encoder-Decoder ？ Encoder-Decoder 模型主要是 NLP 领域里的概念。它并不特值某种具体的算法，而是一类算法的统称。 Encoder-Decoder 算是一个通用的框架，在这个框架下可以使用不同的算法来解决不同的任务。 总结一下的话： Seq2Seq 属于 Encoder-Decoder 的大范畴 Seq2Seq 更强调目的，Encoder-Decoder 更强调方法 Encoder-Decoder 有哪些应用？
1.7K21发布于 2019-12-18 - 来自专栏机器学习算法与Python学习
Encoder-Decoder自动生成对联，要试试么？
这种严格的对仗关系意味着极强的映射规律性，而这个用RNN和Encoder-Decoder来说正好是能够发挥它们长处的地方，所以说Encoder-Decoder加上RNN配置是非常适合用来做对联的。 Encoder-Decoder模型 Encoder-Decoder框架可以看作是一种文本处理领域的研究模式，应用场景异常广泛。 抽象的Encoder-Decoder框架 Encoder-Decoder框架可以这么直观地去理解：可以把它看作适合处理由一个句子（或篇章）生成另外一个句子（或篇章）的通用处理模型。 很明显，这个问题直接可以由Encoder-Decoder框架来进行下联自动生成。这种场景是典型的Encoder-Decoder框架应用问题。 我们所需要做的就是配置好Encoder-Decoder框架的具体模型，比如Encoder和Decoder都采用RNN模型来做，图2展示了用Encoder-Decoder框架做对联下联自动生成的架构图。
1.2K00发布于 2018-07-31 - 来自专栏专知
【Keras教程】用Encoder-Decoder模型自动撰写文本摘要
Encoder-DecoderModels for Text Summarization in Keras 用Keras实现基于Encoder-Decoder的文本自动摘要 作者：Jason Brownlee 相关： Encoder-Decoder Long Short-Term Memory Networks（编码器-解码器LSTM网络） Attention in Long Short-Term
3.5K50发布于 2018-04-11 - 来自专栏AIUAI
论文阅读学习 - (DeeplabV3+)Encoder-Decoder with Atrous Separable Convolution
论文阅读学习 - (DeepLabV3+)Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation SPP、Encoder-Decoder 和 Encoder-Decoder with Atrous Conv(DeepLabV3+ ) 网络结构对比. Encoder-Decoder with Atrous Convolution 1.1 Atrous Convolution Atrous Convolution 扩展了标准的网络卷积操作，其通过调整卷积
3.2K20发布于 2019-02-27 - 来自专栏人工智能
Encoder-Decoder 架构详解：为什么机器翻译非要用两个网络？
什么是Encoder-Decoder架构？为什么翻译任务需要两个网络配合？ 这就是Encoder-Decoder架构的核心思想：先理解，再表达。二、为什么翻译任务需要两个网络配合？ Encoder-Decoder架构通过分工合作解决了这个问题。 架构的通用性五、实际应用场景1.机器翻译这是Encoder-Decoder最经典的应用，GoogleTranslate、DeepL等都基于此架构。 六、Encoder-Decoder的挑战与局限尽管Encoder-Decoder架构非常强大，但它也面临一些挑战：1.计算资源需求高同时运行编码器和解码器需要更多的计算资源和内存。
16510编辑于 2026-03-06 - 来自专栏DeepHub IMBA
使用 PyTorch 创建的多步时间序列预测的 Encoder-Decoder 模型
Encoder-decoder 模型在序列到序列的自然语言处理任务（如语言翻译等）中提供了最先进的结果。 多步时间序列预测也可以被视为一个 seq2seq 任务，可以使用 encoder-decoder 模型来处理。 本文提供了一个用于解决 Kaggle 时间序列预测任务的 encoder-decoder 模型，并介绍了获得前 10% 结果所涉及的步骤。 Encoder-decoder 模型由两个网络组成——编码器（Encoder）和解码器（Decoder）。编码器网络学习（编码）输入序列的表示，捕捉其特征或上下文，并输出一个向量。 总结 本文演示了使用Encoder-Decoder 模型创建多步时间序列预测的完整步骤，但是为了达到这个结果（10%），作者还做了超参数调优。
69210编辑于 2024-07-03 编码器-解码器注意力层（Encoder-Decoder Attention Layer）
编码器-解码器注意力层（Encoder-Decoder Attention Layer）是Transformer架构中的一个重要组成部分，它连接了编码器和解码器，使得解码器在生成每个输出时能够参考编码器的输出
71010编辑于 2025-04-05- 来自专栏海边的拾遗者
万字长文 | 图表示学习中的Encoder-Decoder框架
图表示学习Encoder-Decoder框架介绍和拓展 本篇文章主要从一篇关于Graphs的表示学习的调研文章出发，介绍基于Graph表示学习的一个Encoder-Decoder框架，该框架可以启发关于 Encoder-Decoder Framework 作者针对Node Embedding，提出了一个统一的Encoder-Decoder编程框架来设计和实现Graph Embedding算法，上述所述目前主流的 我将引入Encoder-Decoder框架，围绕现有的代表性的Graph表示学习工作，总结和抽象出不同方法中的各大组件的具体表现形式。 注，读本节前，请详细阅读上述关于Encoder-Decoder框架的介绍。 Summary 本文介绍了一种Encoder-Decoder框架，用于抽象和组织关于Representation Learning on Graph的方法。
1.7K21发布于 2020-11-25 - 来自专栏思影科技
Nature neuroscience：利用encoder-decoder模型实现皮层活动到文本的机器翻译
距离首次从人脑中解码语言至今已有十年之久，但解码语言的准确性和速度仍然远远低于自然语言。本研究展示了一种通过解码皮层脑电获得高准确率、高自然程度语言的方法。根据机器翻译的最新进展，我们训练了一个递归神经网络，将每个句子长度下诱发的神经活动序列编码为一个抽象的表达，然后逐字逐句地将这个抽象表达解码成一个英语句子。对每个参与者来说，数据包括一系列句子（由30-50个句子多次重复而来）以及约250个置于大脑皮层的电极记录到的同步信号。对这些句子的解码正确率最高可以达到97%。最后，本研究利用迁移学习的方法改进对有限数据的解码，即利用多名参与者的数据训练特定的网络层。本研究发表在Nature neuroscience杂志。
1.4K10发布于 2020-07-22 - 来自专栏专知
【论文推荐】最新六篇机器翻译相关论文—综述、卷积Encoder-Decoder神经网络、字翻译、自编码器、神经短语、RNNs
A Multilayer Convolutional Encoder-Decoder Neural Network for Grammatical Error Correction（多层卷积Encoder-Decoder correction of grammatical, orthographic, and collocation errors in text using a multilayer convolutional encoder-decoder
1.4K50发布于 2018-04-16 - 来自专栏深度学习自然语言处理
从头训练的15B中英非对称Encoder-Decoder结构双语模型
苏州大学从头训练的双语非对称Encoder-Decoder模型OpenBA已正式开源！ 在中文开源领域，虽有GLM，Baichuan，Moss，BatGPT之类的优秀工作，但仍存在以下空白： 主流开源大语言模型主要基于decoder-only架构或其变种，encoder-decoder架构仍待研究 非对称Encoder-Decoder模型结构 在模型结构的选择上，OpenBA尝试了三种设置：(1) 更深的decoder，(2) 更深的encoder，(3) 相同层数的encoder和decoder
82560编辑于 2023-09-21 - 来自专栏人工智能头条
深度学习中的注意力机制
Encoder-Decoder框架 要了解深度学习中的注意力模型，就不得不先谈Encoder-Decoder框架，因为目前大多数注意力模型附着在Encoder-Decoder框架下，当然，其实注意力模型可以看作一种通用的思想 Encoder-Decoder框架可以看作是一种深度学习领域的研究模式，应用场景异常广泛。图2是文本处理领域里常用的Encoder-Decoder框架最抽象的一种表示。 图2 抽象的文本处理领域的Encoder-Decoder框架 文本处理领域的Encoder-Decoder框架可以这么直观地去理解：可以把它看作适合处理由一个句子（或篇章）生成另外一个句子（或篇章）的通用处理模型 由此可见，在文本处理领域，Encoder-Decoder的应用领域相当广泛。 Encoder-Decoder框架不仅仅在文本领域广泛使用，在语音识别、图像处理等领域也经常使用。 如果拿机器翻译来解释这个分心模型的Encoder-Decoder框架更好理解，比如输入的是英文句子：Tom chase Jerry，Encoder-Decoder框架逐步生成中文单词：“汤姆”，“追逐”
7.6K51发布于 2018-06-05 - 来自专栏HyperAI超神经
今年春节，推荐三个 AI 工具为你写春联
使用 Encoder-Decoder 模型 Encoder-Decoder 框架可以看作是一种文本处理领域的研究模式，应用场景异常广泛。 ? 抽象的 Encoder-Decoder 框架 Encoder-Decoder 框架可以这么直观地去理解：可以把它看作适合处理由一个句子（或篇章）生成另外一个句子（或篇章）的通用处理模型。 这种场景是典型的 Encoder-Decoder 框架应用问题。所需要做的就是配置好 Encoder-Decoder 框架的具体模型，比如 Encoder 和 Decoder 都采用RNN模型来做。 Encoder-Decoder生成下联 只需要找到大量的对联数据对这个模型进行训练，那么即可利用这个模型，输入上联，机器就可以自动产生下联了。 本质上 Encoder-Decoder 在解码阶段是能够学会语言模型的，而很明显语言模型的引入对于生成下联的可读性和语言一致性是很有帮助的。
14.1K20发布于 2019-11-30 - 来自专栏新智元
自然语言处理中的Attention Model：是什么及为什么
要提文本处理领域的AM模型，就不得不先谈Encoder-Decoder框架，因为目前绝大多数文献中出现的AM模型是附着在Encoder-Decoder框架下的，当然，其实AM模型可以看作一种通用的思想， 本身并不依赖于Encoder-Decoder模型，这点需要注意。 抽象的Encoder-Decoder框架 Encoder-Decoder框架可以这么直观地去理解：可以把它看作适合处理由一个句子（或篇章）生成另外一个句子（或篇章）的通用处理模型。 如果拿机器翻译来解释这个分心模型的Encoder-Decoder框架更好理解，比如输入的是英文句子：Tom chase Jerry，Encoder-Decoder框架逐步生成中文单词：“汤姆”，“追逐” 增加了AM模型的Encoder-Decoder框架理解起来如图2所示。 ? 图2 引入AM模型的Encoder-Decoder框架 即生成目标句子单词的过程成了下面的形式： ?
1.1K50发布于 2018-03-27 - 来自专栏炼丹笔记
乘风破浪的PTM：预训练的发动机
从目前对比实验看（参考Encoder-AE小节的两张效果对比图），除了Encoder-Decoder结构外，貌似对于语言生成类的任务，这种结构是效果最好的结构之一。 Encoder-Decoder结构 既然Encoder-AE比较适合做语言理解类的任务，Encoder-AR比较适合做语言生成类的任务。 这是个很自然的想法，而Encoder-Decoder结构就是如此将两者结合的。 最早明确提出使用Encoder-Decoder结构做通用领域预训练的，应该是微软提出的MASS模型，不过和这里介绍的做法有差异。 Encoder-Decoder结构如上图所示。 如果深入分析的话，Prefix LM其实是Encoder-Decoder模型的变体：标准的Encoder-Decoder模型，Encoder和Decoder各自使用一个独立的Transformer；而Prefix
93830发布于 2021-07-16 - 来自专栏自然语言处理
Sequence to Sequence学习资料
Sequence to Sequence学习资料 seq2seq学习笔记 - CSDN博客 深度学习方法（八）：自然语言处理中的Encoder-Decoder模型，基本Sequence to Sequence SequenceToSequenceLearning: Sequence to Sequence学习简述 sequence to sequence model小记 深度学习方法（八）：自然语言处理中的Encoder-Decoder 模型，基本Sequence to Sequence模型 - CSDN博客 深度学习（BOT方向） 学习笔记（1） Sequence2Sequence 学习 - CSDN博客 深度学习笔记(六)：Encoder-Decoder
1K20发布于 2018-07-06 - 来自专栏深度应用
[深度概念]·Attention机制实践解读
2、Encoder-Decoder框架 所谓encoder-decoder模型，又叫做编码-解码模型。这是一种应用于seq2seq问题的模型。 因此，准确的说，Encoder-Decoder并不是一个具体的模型，而是一类框架。 所以基于Encoder-Decoder，我们可以设计出各种各样的应用算法。 Encoder-Decoder框架可以看作是一种文本处理领域的研究模式，应用场景异常广泛，下图是文本处理领域里常用的Encoder-Decoder框架最抽象的一种表示： 对于句子对<X,Y>，我们的目标是给定输入句子 X，期待通过Encoder-Decoder框架来生成目标句子Y。
94210编辑于 2022-01-21 - 来自专栏深度应用
[深度概念]·Attention机制概念学习笔记
2、Encoder-Decoder框架 所谓encoder-decoder模型，又叫做编码-解码模型。这是一种应用于seq2seq问题的模型。 Encoder-Decoder模型中的编码，就是将输入序列转化成一个固定长度的向量；解码，就是将之前生成的固定向量再转化成输出序列。 因此，准确的说，Encoder-Decoder并不是一个具体的模型，而是一类框架。 所以基于Encoder-Decoder，我们可以设计出各种各样的应用算法。 Encoder-Decoder框架可以看作是一种文本处理领域的研究模式，应用场景异常广泛，下图是文本处理领域里常用的Encoder-Decoder框架最抽象的一种表示： ?
92520发布于 2019-06-27
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号