- 综合排序
- 最热优先
- 最新优先
- 来自专栏计算机工具
Transformer是什么，Transformer应用
Transformer应用:循环神经网络 语言翻译：注重语句前后顺序 RNN看中单个特征； CNN：看中特征之间时序性 模型关注不同位置的能力 Transformer是什么 Transformer是一个利用注意力机制来提高模型训练速度的模型 transformer首先将词向量乘上三个矩阵，得到三个新的向量，之所以乘上三个矩阵参数而不是直接用原本的词向量是因为这样增加更多的参数，提高模型效果。 假设词汇表维度是6，那么输出最大概率词汇的过程如下： 以上就是Transformer的框架了，但是还有最后一个问题，我们都是到RNN中的每个输入是时序的，有先后顺序的，但是Transformer整个框架下来并没有考虑顺序信息 Transformer中确实没有考虑顺序信息，那怎么办呢，我们可以在输入中做手脚，把输入变得有位置信息不就行了，那怎么把词向量输入变成携带位置信息的输入呢？ Transformer就介绍到这里了，后来的很多经典的模型比如BERT、GPT-2都是基于Transformer的思想。
69421编辑于 2024-12-14 - 来自专栏又见苍岚
Transformer - 3 - Transformer 的实现
本文继续 大神 的 Transformer 介绍，进入第三篇 —— Transformer 的实现。 问题 完整的 Transformer Block 是什么样的？ 怎么用 Pytorch 实现一个完整的 Transformer 模型？ 完整的 Transformer Block 是什么样的？ 那么，接下来我们把重点放到 Transformer Block 上。 模型 Tokenize Input Embedding Positional Encoder Transformer Block Encoder Decoder Transformer 1.Tokenize Transformer Block 有了输入，我们接下来就要开始构建 Transformer Block 了，Transformer Block 主要是有以下4个部分构成的： self-attention
87853编辑于 2023-05-11 - 来自专栏又见苍岚
Transformer - 4 - Transformer 的细节
本文继续 大神 的 Transformer 介绍，进入第四篇 —— Transformer 的细节。 这篇文章中，我们聊一聊那些在论文中一笔带过的 tricks，这些 tricks 让 Transformer 达到了真正的高度。 接下来我们来证明 Transformer 中位置编码中相对位置之间的线性关系。 问题定义 。 跳接的第二个目的是专门为了 Transformer 结构而添加的，为了保留原始的输入序列的信号。 残差连接通过获取原始单词并手动将其添加到向下传递的信号中，这样就不会删除或者是忘记它，这给 Transformer 结构增加了信号传递的稳定性，这可能是 Transformer 在许多不同的序列任务中表现良好的原因之一
82942编辑于 2023-05-11 - 来自专栏mathor
Transformer
现在已经取得了大范围的应用和扩展，而BERT就是从Transformer中衍生出来的预训连语言模型 这篇文章分为以下几个部分 Transformer直观认识 Positional Encoding Self Transformer直观认识 Transformer和LSTM的最大区别，就是LSTM的训练是迭代的、串行的，必须要等以上一个字处理完，才可以处理下一个字。 Transformer使用了位置嵌入(Positional Encoding)来理解语言的顺序，使用自注意力机制（Self Attention Mechanism）和全连接层进行计算，这些后面会讲到 Transformer Positional Encoding 由于Transformer模型没有循环神经网络的迭代操作, 所以我们必须提供每个字的位置信息给Transformer, 才能识别出语言中的顺序关系 现在定义一个位置嵌入的概念 Transformer Encoder整体结构 经过上面3个步骤，我们已经基本了解到来Transformer编码器的主要构成部分，我们下面用公式把一个transformer block的计算过程整理一下
1.3K11发布于 2020-04-26 - 来自专栏大数据和机器学习
Transformer
Transformer来自于谷歌的工作attention is you need! 一、总体来看这个模型 1.先把transformer想象成一个黑匣子在机器翻译中的处理流程如下： image.png 2剖开transformer结构：内部是一个encoders-decoders框架 self-attention正是transformer中设计的一种通过其上下文来理解当前词的一种办法。你会很容易发现...相较于RNNs，transformer具有更好的并行性。 由下图可以看到，在self attention中，我们有多个个Query / Key / Value权重矩阵（Transformer使用8个attention heads）。
1K40发布于 2020-01-14 - 来自专栏半杯茶的小酒杯
Transformer中的FPN-Swin Transformer
分辨率太大，直接用Transformer处理的计算代价太大。 Swin Transformer VS VIT 在VIT中，Transformer生成的Feature Map是单一固定分辨率，并且由于对整张图片计算Self-Attention，因此它的计算复杂度随着输入图片大小的增加而平方级增加 Overall Architecture Swin Transformer的网络结构如下图所示。 图片来源:跟李沐学AI【1】 Swin Transformer Block Swin Transformer Block包含两部分：标准的Multi-Head Self Attention(MSA)和使用 论文&代码 论文名称: Swin Transformer: Hierarchical Vision Transformer using Shifted Windows 论文链接: https://arxiv.org
97760编辑于 2023-09-01 - 来自专栏caidblog
Transformer 网络
Transformer 从整体框架来讲，Transformer其实就是encode-decode框架，即就是编码解码。只不过在编码和解码的内部比较复杂，经过了多次复杂计算。 区别是，在transformer的自注意力机制结束后，不是直接送入下一层，而是将自注意力机制的结果和输入向量相加后再送入下一层。 编码->解码 在整个transformer中，分为编码和解码阶段。 总结 以上就是对于本次学习的整个过程，在自然语言处理里transformer网络使用较为普遍，所以在此记录一下，以供日后学习和复习，存在问题的话记得留言指出。
63320编辑于 2022-09-13 - 来自专栏xiaosen
Transformer介绍
而在BERT中发挥重要作用的结构就是Transformer, 之后又相继出现XLNET，roBERT等模型击败了BERT，但是他们的核心没有变，仍然是：Transformer Transformer Transformer模型的作用 基于seq2seq架构的transformer模型可以完成NLP领域研究的典型任务, 如机器翻译, 文本生成等. Transformer：Transformer是一种基于自注意力机制的模型，它完全摒弃了RNN的循环结构，而是使用注意力机制来捕捉序列中的依赖关系。 Transformer：Transformer通过自注意力机制实现了并行处理序列中所有元素的能力。这意味着Transformer可以同时处理序列中的所有元素，大大提高了计算效率。 Transformer：Transformer通过自注意力机制可以捕捉序列中的长期依赖关系。
83010编辑于 2024-06-13 - 来自专栏向治洪
Transformer图解
Transformer正在席卷自然语言处理领域。 这些令人难以置信的模型正在打破多项 NLP 记录并推动最先进的技术发展。 1、注意力机制 要了解Transformer，我们首先必须了解注意力（Attention）机制。 注意力机制使 transformer 具有极长的记忆力。 Transformer模型可以“参与”或“关注”之前生成的所有token。 让我们来看一个例子。 假设我们想写一部带有生成式transformer的短篇科幻小说。 这就是Transformer的机制。 Transformer利用注意力机制的力量做出更好的预测。 循环神经网络试图实现类似的事情，但因为它们受到短期记忆的影响。 因为transformer架构，自然语言处理行业可以取得前所未有的成果。
72221编辑于 2023-12-27 - 来自专栏前行的CVer
Vision Transformer
从ViT开始，Transformer在视觉领域得到应用。 为了降低Transformer中softmax attention操作的计算量和显存，Sparse Global Attention被提出和使用，例如在PVT和PVT v2中。 另一种策略是Window attention，如Swin Transformer提出一种Shifted Window方法让ViT具有多尺度的能力，并且降低计算量，能接受大分辨率的图片；Cross-Shaped 针对这两点，Flatten Transformer（ICCV2023）提出一种改进名为Focused Linear Attention，旨在弥补二者的性能差距，计算方法如下： O=\phi(Q) \phi DWC是depth-wise convolution，其中计算相似度的过程如下： 不过Flatten Transformer在应用在各种网络上比如Swin-T中的时候也不是所有的都替换，论文实验表示只换前两个
19110编辑于 2024-10-01 Transformer架构
Transformer架构是一种深度学习模型，主要用于自然语言处理任务。 Transformer架构的优点是它能够处理非常长的输入序列，并且能够捕捉序列中的长距离依赖关系。此外，由于其并行化的计算方式，Transformer架构在处理长序列时具有较高的效率。 应用场景自然语言处理：机器翻译：如Google的Transformer模型。文本生成：如GPT系列模型。问答系统：如BERT模型。 计算机视觉：图像分类：如ViT（Vision Transformer）。目标检测：如DETR（Detection Transformer）。 随着技术的不断发展和优化，Transformer及其变体有望在更多领域发挥重要作用。
1.1K10编辑于 2024-09-15- 来自专栏又见苍岚
Vision Transformer
Transformer是nlp领域的常见模型了，在Attention is All You Need一文中凭借着嚣张的题目和明显的效果席卷了nlp的各个领域。 最近CV领域也出现了一些使用Transformer的论文，本文介绍 ICLR 2021 的亮点工作之一 Vision Transformer ，也就是传说中的 VIT。 简介 Transformer 架构早已在自然语言处理任务中得到广泛应用，但在计算机视觉领域中仍然受到限制。 VIT在研究中表明，视觉网络对 CNN 的依赖不是必需的，当直接面对图像块序列时，transformer 也能很好地执行图像分类任务。 工作流程 VIT 的目的是将 NLP 中的 Transformer 引入到视觉领域，并得到 Transformer 在原有领域中的性能收益，因此基础架构尽可能照搬了原始 Transformer。
70220编辑于 2022-08-06 - 来自专栏数据分析与挖掘
transformer笔记
输入：[batch_size，sequence_length，embedding dimension]
61420发布于 2020-08-26 - 来自专栏集智书童
全新Backbone | Pale Transformer完美超越Swin Transformer
对于下游的任务，Pale Transformer Backbone在ADE20K语义分割和COCO目标检测和实例分割上比最近的最先进的CSWin Transformer表现得更好。 1简介 受Transformer在自然语言处理(NLP)的广泛任务上取得成功的启发，Vision Transformer(ViT)首次采用纯Transformer架构进行图像分类，这显示了Transformer 然后，给出了Pale Transformer block的组成。最后，将描述Pale Transformer Backbone的总体架构和变体配置。 3.5 整体框架 图2(a) 如图2(a)所示，Pale Transformer通过遵循CNN和Transformer的设计，由四个层次级阶段组成，用于捕获多尺度特征。 与此同时，Pale Transformer的性能优于最先进的基于Transformer的Backbone，在类似型号尺寸和FLOPs下的所有变种中，其性能比最相关的CSWin Transformer高0.7%
1.4K20编辑于 2022-01-27 - 来自专栏GiantPandaCV
A Survey of Transformer 一篇Transformer综述（下）
接A Survey of Transformer 一篇Transformer综述（上）。 Transformer 将序列分割为多个子序列来处理，能够提升Transformer的效率，主要分为两大类方法，一种是循环Transformer，一种是层级Transformer ? 不同策略的Transformer 循环Transformer 类似于RNN，循环Transformer设置了一个cache来存储历史信息，每次处理一段子序列，网络会将cache作为额外输入进行运算，运算完后写入新的 Transformer应用领域 NLP：这里不多废话 CV：最近大火的视觉Transformer 音频应用：语音识别，合成，增强；音乐生成 多模态 总结和未来展望 我们认为未来发展方向有以下三大方面： 超越注意力的更好的全局交互机制 多模态数据统一框架 最后希望这篇综述能让你了解当前Transformer的进展，帮助读者们为其他应用改进Transformer。
1.3K30发布于 2021-07-01 - 来自专栏又见苍岚
Transformer - 2 - Transformer 中的 Self-attenstion
本文继续 大神 的 Transformer 介绍，进入第二篇 —— Transformer 中的 SA。 本篇是对上一篇的继续，Transformer 的作者基于 Self-attention 存在的局限性，针对性的做出了相应的 tricks，加以提升 Self-attention 的拟合数据的能力。 本文重点解决以下问题： Transformer 的作者对基础的 Self-attention 做了哪些 tricks ？ Transformer 的作者对 Self-attention 做了哪些 tricks 在 Transformer 的实现过程中，作者使用了三个 tricks。 https://github.com/CYang828/transformer-all-in-one
71630编辑于 2023-05-09 - 来自专栏GiantPandaCV
A Survey of Transformer 一篇Transformer综述（上）
这是复旦大学出品的一份Transformer的综述，里面涵盖内容很广泛，长文预警，完整读完可能需要15-20分钟 介绍 Transformer现在是一种在各个领域被广泛使用的模型，包括NLP,CV,语音领域 模型适应能力 这方面工作主要是将Transformer引入下游任务中 背景知识 原始Transformer 这部分我们主要介绍原始Transformer中几个关键模块 Attention模块 Attention 而Transformer抛弃了这些归纳偏置，一方面能让其足够通用灵活，另一方面Transformer很容易对小规模数据过拟合。 不同种类的Transformer ? 后续的Transformer变体都是在以上几个组件加以改进得到。 ? ，Linear Transformer使用的是 ，其目的不是近似标准Attention中的点积，只是性能能与标准Transformer相当。
2K20发布于 2021-07-01 - 来自专栏DeepHub IMBA
简化版Transformer ：Simplifying Transformer Block论文详解
在这篇文章中我将深入探讨来自苏黎世联邦理工学院计算机科学系的Bobby He和Thomas Hofmann在他们的论文“Simplifying Transformer Blocks”中介绍的Transformer 在纯自回归解码器和纯BERT编码器模型上的实验表明，论文的简化Transformer 实现了与标准Transformer 相当的训练速度和性能，同时训练吞吐量提高了15%，使用的参数减少了15%。 Transformer模块的改进 Transformer 模型中的注意力机制可以被分解成一个多层次的过程，它包好了线性代数和概率论的概念。 这种方法平衡了早期训练对稳定性的需求和Transformer 在学习过程中发展复杂表征的能力。 3、删除“值”和投影参数 如果去掉数值和投影参数，会简化了Transformer 的内部结构。 总结 论文“Simplifying Transformer Blocks”中提出的简化反映了对Transformer 体系结构细微差别的理解的深刻转变。
94310编辑于 2023-12-04 - 来自专栏Python编程爱好者
Transformer王者归来！
近年来，Transformer在自然语言处理以及计算机视觉任务中取得了不断突破，成为深度学习领域的基础模型。 受此启发，众多Transformer模型变体在时间序列领域中被提出。 然而，最近越来越多的研究发现，使用简单的基于线性层搭建的预测模型，就能取得比各类魔改Transformer更好的效果。 其中，作者提出的iTransformer，考虑多维时间序列的数据特性，未修改任何Transformer模块，而是打破常规模型结构，在复杂时序预测任务中取得了全面领先，试图解决Transformer建模时序数据的痛点 ）和 个可堆叠的Transformer模块（TrmBlock）。 面对Transformer在时序预测领域是否有效的质疑，作者的这一发现可能启发后续相关研究，使Transformer重新回到时间序列预测的主流位置，为时序数据领域的基础模型研究提供新的思路。
75820编辑于 2023-10-24 - 来自专栏算法进阶
时间序列+Transformer！
1 介绍 Transformer在自然语言处理和计算机视觉领域表现优秀，但在时间序列预测方面不如线性模型。 图1 普通Transformer（上）和提出的iTransformer（下）之间的比较。Transformer嵌入了时间标记，其中包含每个时间步的多变量表示。 第二类充分利用Transformer，关注时间序列的内在处理。 第三类在组件和架构两方面翻新Transformer，以捕捉跨时间和跨变量的依赖性。 2.1 结构概述 我们提出的iTransformer采用了Transformer的编码器架构，包括嵌入、投影和Transformer块，如图3所示。 虽然基于Transformer的预测器的性能不一定受益于增加的回溯长度，但反向框架使普通Transformer及其变体在扩大的回溯窗口上具有更高的性能。 3.3 模型分析 消融研究。
2.5K10编辑于 2024-02-29
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号