- 综合排序
- 最热优先
- 最新优先
- 来自专栏Sarlren的笔记
ViT
ViT ViT相关的一些整理： 代码在https://www.kaggle.com/code/sarlren/vit-dog-breed/notebook
28630编辑于 2022-10-28 - 来自专栏null的专栏
Vision Transformer（ViT）
ViT的基本原理 ViT模型是希望能够尽可能少对Transformer模型修改，并将Transformer应用于图像分类任务的模型。 ViT模型也是基于Transformer的Encoder部分，这一点与BERT较为相似，同时对Encoder部分尽可能少的修改。 2.2.1. ViT的网络结构 ViT的网络结构如下图所示： ViT模型的网络结构如上图的右半部分所示，与原始的Transformer中的Encoder不同的是Norm所在的位置不同，类似BERT模型中[class 训练目标以及fine-tune ViT的训练与BERT是不一样的，在BERT中采用的无监督的训练，而在ViT中使用的是监督训练，使用的数据集是有标签的分类数据集，如ILSVRC-2012 ImageNet 总结 ViT模型将Transformer引入到图像的分类中，更准确的说是Transformer中的Encoder模块。
1.1K10编辑于 2023-03-13 - 来自专栏机器之心
ViT的复仇：Meta AI提出ViT训练的全新baseline
令人惊讶的是，在使用 ViT 时，作者观察到这种方法比用于训练 ViT 的常用自动 / 学习数据增强（如 RandAugment [6]）效果更好。 例如，仅在 ImageNet1k 上训练 ViT-H 时， top-1 准确率达到 85.2%，这比文献中报道的分辨率为 224×224 的监督训练过程的最佳 ViT-H 提高了 +5.1%。 ImageNet-1k 训练程序允许训练十亿参数的 ViT-H（52 层），无需任何超参数适应，只需使用与 ViT-H 相同的随机深度下降率。 对于 ViT-B 和 Vit-L 模型，作者提出的监督训练方法与具有默认设置的类似 BerT 的自监督方法 [2, 19] 相当，并且在使用相同级别的注释和更少的 epoch 时，两者都适用于图像分类和语义分割任务 该研究还表明，经过监督训练的 ViT 的性能与最近的架构性能相当。这些结果可以作为最近在 ViT 上使用的自监督方法的更好基准模型。 更多细节请参考原论文。
1K20编辑于 2022-05-05 - 来自专栏媒矿工厂
ViT-Adapter: 密集预测任务的ViT适配器
架构配置 作者为 4 种不同尺寸的 ViT 构建 ViT 适配器，包括 ViT-T、ViT-S、ViT-B 和 ViTL。 ViT-L†。 消融研究 ViT vs. 为了展示 ViT 和 ViT-Adapter 功能之间的差异，作者首先使用傅里叶分析作为可视化工具包。 这一观察结果表明，作者的方法将 CNN 捕获高频信息的优点移植到 ViT 上。 图 3：ViT 与 ViT 适配器特征对比。(a) 傅立叶变换特征图的相对对数振幅。(b) 检测结果。
1.1K10编辑于 2024-03-26 - 来自专栏null的专栏
Vision Transformer（ViT）
ViT的基本原理 ViT模型是希望能够尽可能少对Transformer模型修改，并将Transformer应用于图像分类任务的模型。 ViT模型也是基于Transformer的Encoder部分，这一点与BERT较为相似，同时对Encoder部分尽可能少的修改。 2.2.1. ViT的网络结构 ViT的网络结构如下图所示： 图片 ViT模型的网络结构如上图的右半部分所示，与原始的Transformer中的Encoder不同的是Norm所在的位置不同，类似BERT模型中class 训练目标以及fine-tune ViT的训练与BERT是不一样的，在BERT中采用的无监督的训练，而在ViT中使用的是监督训练，使用的数据集是有标签的分类数据集，如ILSVRC-2012 ImageNet 总结 ViT模型将Transformer引入到图像的分类中，更准确的说是Transformer中的Encoder模块。
1.7K00编辑于 2023-02-26 - 来自专栏机器学习与生成对抗网络
ViT 训练的全新baseline
令人惊讶的是，在使用 ViT 时，作者观察到这种方法比用于训练 ViT 的常用自动 / 学习数据增强（如 RandAugment [6]）效果更好。 例如，仅在 ImageNet1k 上训练 ViT-H 时， top-1 准确率达到 85.2%，这比文献中报道的分辨率为 224×224 的监督训练过程的最佳 ViT-H 提高了 +5.1%。 ImageNet-1k 训练程序允许训练十亿参数的 ViT-H（52 层），无需任何超参数适应，只需使用与 ViT-H 相同的随机深度下降率。 对于 ViT-B 和 Vit-L 模型，作者提出的监督训练方法与具有默认设置的类似 BerT 的自监督方法 [2, 19] 相当，并且在使用相同级别的注释和更少的 epoch 时，两者都适用于图像分类和语义分割任务 该研究还表明，经过监督训练的 ViT 的性能与最近的架构性能相当。这些结果可以作为最近在 ViT 上使用的自监督方法的更好基准模型。 更多细节请参考原论文。
86110编辑于 2022-05-27 - 来自专栏数据派THU
ViT训练的全新baseline！
来源：机器之心本文约3500字，建议阅读10+分钟本文为你介绍ViT的三种数据增强方法。 令人惊讶的是，在使用 ViT 时，作者观察到这种方法比用于训练 ViT 的常用自动 / 学习数据增强（如 RandAugment [6]）效果更好。 例如，仅在 ImageNet1k 上训练 ViT-H 时， top-1 准确率达到 85.2%，这比文献中报道的分辨率为 224×224 的监督训练过程的最佳 ViT-H 提高了 +5.1%。 ImageNet-1k 训练程序允许训练十亿参数的 ViT-H（52 层），无需任何超参数适应，只需使用与 ViT-H 相同的随机深度下降率。 该研究还表明，经过监督训练的 ViT 的性能与最近的架构性能相当。这些结果可以作为最近在 ViT 上使用的自监督方法的更好基准模型。 更多细节请参考原论文。 编辑：黄继彦
74310编辑于 2022-05-16 - 来自专栏CSDN社区搬运
【ViT】对图片进行分类
ViT模型的出现，证明了对CNN的依赖是不必要的，直接应用于图像补丁序列的纯Transformer架构可以在图像分类任务中表现良好。 模型结构 模型总体框架 上述是ViT模型的基本框架，可以大致分为三个主要部分 Patch_embed（将图片分成一系列的patches） Transformer Encoder（建模不同序列之间的相关性 针对于ViT-B/16而言，将输入图片(224x224)按照大小为（16x16) 的Patch进行划分，生成196个Patch。 Transformer Encoder Transformer Encoder 本身是堆叠Encoder Block L 次，ViT-B/16是12次。 MLP Block：由全连接+GELU激活函数+Dropout组成，在ViT-B/16的模型结构中，第一个全连接层将输入节点的个数翻4倍，第二个全连接层键还原节点的个数。
64210编辑于 2024-12-08 - 来自专栏DeepHub IMBA
使用Pytorch手写ViT — VisionTransformer
在ViT中，图像被分割成小块，并将这些小块的线性嵌入序列作为Transformer的输入。对图像进行补丁处理方式与NLP应用程序中的标记(单词)相同。 在开始实现之前，我们先看看ViT架构 可以看到输入图像被分解成 16x16 的扁平化块，然后使用普通的全连接层对这些块进行嵌入操作，并在它们前面包含特殊的 cls token 和位置嵌入。 首先我们从导入库开始，一步一步实现论文中提到的ViT模型： import matplotlib.pyplot as plt from PIL import Image import torch 接下来，我们开始按照论文实现ViT。 切分补丁和投影 将图像分成多个补丁，并将它们展平。 以下是论文的原话： 我们可以很容易地使用 einops 来实现它。 的架构，为了加深印象我们再看下论文中提供的与现有技术的比较： 本文代码：https://github.com/alessandrolamberti/ViT 作者：Alessandro Lamberti
96710编辑于 2022-11-11 - 来自专栏机器之心
DeepMind：谁说卷积网络不如ViT？
经过微调后，最大的模型达到了 90.4% 的 ImageNet Top-1，在类似的计算预算下与预训练的 ViT 相竞争。 看到这项研究后，图灵奖得主 Yann LeCun 表示：「计算是你所需要的，在给定的计算量下，ViT 和 ConvNets 相媲美。 NFNet vs ViT 该研究在 ImageNet 上的实验表明：经过微调的 NFNet 与 Vision Transformer 性能相当。 尽管 NFNet 和 ViT 两种模型架构之间存在显著差异，但预训练 NFNet 与预训练 ViT 性能相当。 核小时后，ViT-G/14 实现了 90.45% 的 Top-1 准确率。
40730编辑于 2023-10-28 - 来自专栏信数据得永生
VisionTransformer（ViT）详细架构图
（2）Tranformer要的是嵌入向量的序列，大概是SeqLen, HidSize形状的二维数组，然后图像是H, W, C的三维数组，想把它塞进去必须经过一步转换，这是嵌入模块做的事情。
1.1K30编辑于 2023-10-13 - 来自专栏机器学习与生成对抗网络
基于 ViT 的图像纹理风格迁移
Splicing ViT Features for Semantic Appearance Transfer https://arxiv.org/pdf/2201.00424.pdf https://github.com 为了更好地学习语义信息——这也是解决此任务的关键组件——利用预训练和固定的视觉transformer (ViT) 模型，该模型用作外部语义先验。 从深度 ViT 特征中提取结构和外观的新表示，将它们从学习的自注意力模块中解耦开来。然后建立一个目标函数，拼接所需的结构和外观表示，在 ViT 特征空间中将它们融合在一起。
98020编辑于 2022-10-31 - 来自专栏计算机工具
ViT模型架构和CNN区别
为了解决上述问题，Google的研究团队提出了ViT模型，它的本质其实也很简单，既然Transformer只能处理序列数据，那么我们就把图像数据转换成序列数据就可以了呗。下面来看下ViT是如何做的。 ViT模型架构 我们先结合下面的动图来粗略地分析一下ViT的工作流程，如下： 将一张图片分成patches； 将patches铺平； 将铺平后的patches的线性映射到更低维的空间； 添加位置embedding Vision Transformer（VIT）与卷积神经网络（CNN）相比 在某些情况下可以表现出更强的性能，这是由于以下几个原因： 全局视野和长距离依赖：ViT引入了Transform模型的注意力机制 ViT通过自注意力层可以建立全局关系，并学习图像中不同区域之间的长距离依赖关系，从而更好地理解图像的结构和语义。 可学习的位置编码：ViT通过对输入图像块进行位置编码，将位置信息引入模型中。 数据效率和泛化能力： ViT在大规模数据集上展现出出色的泛化能力。由于ViT基于Transform模型，它可以从大量的数据中学习到更丰富、更复杂的图像特征表示。
1K10编辑于 2024-12-14 - 来自专栏机器学习炼丹术
VIT Vision Transformer | 先从PyTorch代码了解
---- 文章原创自：微信公众号「机器学习炼丹术」 作者：炼丹兄 联系方式：微信cyx645016617 ---- 代码来自github 【前言】：看代码的时候，也许会不理解VIT中各种组件的含义，但是这个文章的目的是了解其实现 VIT类 初始化 和之前的学习一样，从大模型类开始看起，然后一点一点看小模型类： class ViT(nn.Module): def __init__(self, *, image_size, VIT类中初始化的组件： num_patches:一个图片划分成多少个patch，因为图片224，patch32，所以划分成7x7=49个patches； patch_dim:3x32x32，理解为一个 patch中的元素个数； ......这样展示是不是非常的麻烦，还要上下来回翻看代码，所以我写成注释的形式 class ViT(nn.Module): def __init__(self, *, VIT总结 回顾一下整个流程： 一个图片224x224，分成了49个32x32的patch； 对这么多的patch做embedding，成49个128向量； 再拼接一个cls_tokens，变成50个128
2.5K30发布于 2021-03-04 - 来自专栏登神长阶
【论文复现】ViT：对图片进行分类
ViT模型的出现，证明了对CNN的依赖是不必要的，直接应用于图像补丁序列的纯Transformer架构可以在图像分类任务中表现良好。 模型结构 模型总体框架 上述是ViT模型的基本框架，可以大致分为三个主要部分 Patch_embed（将图片分成一系列的patches） Transformer Encoder（建模不同序列之间的相关性 针对于ViT-B/16而言，将输入图片(224x224)按照大小为（16x16) 的Patch进行划分，生成196个Patch。 Transformer Encoder Transformer Encoder 本身是堆叠Encoder Block L 次，ViT-B/16是12次。 MLP Block：由全连接+GELU激活函数+Dropout组成，在ViT-B/16的模型结构中，第一个全连接层将输入节点的个数翻4倍，第二个全连接层键还原节点的个数。
54610编辑于 2024-11-30 - 来自专栏量子位
挑战单卡单日训练BERT，ViT作者推荐
连ViT作者，谷歌大脑研究员Lucas Beyer都发文推荐，称这是一个令人耳目一新的转变。
39620编辑于 2023-02-28 - 来自专栏自然语言处理(NLP)论文速递
Google DeepMind：谁说卷积网络不如ViT？
经过微调后，最大的模型达到了 90.4% 的 ImageNet Top-1，在类似的计算预算下与预训练的 ViT 相竞争。 看到这项研究后，图灵奖得主 Yann LeCun 表示：「计算是你所需要的，在给定的计算量下，ViT 和 ConvNets 相媲美。 NFNet vs ViT 该研究在 ImageNet 上的实验表明：经过微调的 NFNet 与 Vision Transformer 性能相当。 尽管 NFNet 和 ViT 两种模型架构之间存在显著差异，但预训练 NFNet 与预训练 ViT 性能相当。 核小时后，ViT-G/14 实现了 90.45% 的 Top-1 准确率。
36930编辑于 2023-10-31 - 来自专栏GiantPandaCV
CeiT：训练更快的多层特征抽取ViT
Image-to-Tokens 使用卷积+池化来取代原先ViT中7x7的大型patch。 2.
1.2K20编辑于 2022-02-11 - 来自专栏计算机视觉工坊
最大的ViT来了！谷歌提出ViT-22B：视觉Transformer扩展到220亿参数
G 和 ViT-e，表 1 给出了比较结果，由下表可得，ViT-22B 主要是扩展了模型的宽度，使得参数量更大，深度和 ViT-G 一样。 ViT-22B 使用 14 × 14 的 patch，图像分辨率为 224 × 224。ViT-22B 采用了一种学习到的一维位置嵌入。 研究观察到 ViT-22B 明显优于其他 ViT 变体，特别是在标准的 224px 输入分辨率下。这表明 ViT-22B 中大量的参数对于从图像中提取详细信息是有用的。 通过将 ViT-22B 主干与 ViT-e（一个较小的模型，但在与 ViT-22B 相同的数据上进行训练）进行比较，研究发现扩展架构可以提高性能。 此外，将 ViT-e 主干与 ViT-L（与 ViT-e 类似的架构，但训练的数据更少）进行比较，研究发现这些改进也来自于扩展训练前的数据。这些发现表明，更大的模型和更大的数据集都有助于提高性能。
3.2K20编辑于 2023-02-24 - 来自专栏GiantPandaCV
Tokens-to-token ViT: 对token做编码的纯transformer ViT，T2T算引入了CNN了吗？
【GaintPandaCV导语】 T2T-ViT是纯transformer的形式，先对原始数据做了token编码后，再堆叠Deep-narrow网络结构的transformer模块，实际上T2T也引入了 原论文作者认为ViT效果不及CNN的原因： 1、直接将图像分patch后生成token的方式没法建模局部结构特征(local structure)，比如相邻位置的线，边缘； 2、在限定计算量和限定训练数据数量的条件下 ，ViT冗余的注意力骨架网络设计导致提取不到丰富的特征。 connect将这俩concat起来，类比GhostNet 实验的结果：给出来了炼丹配方了，这一点还是很良心的，根据现有的CNN的模型架构特征改造纯transformer Deep-narrow能提高VIT 的特征丰富性，模型大小和MACs降低，整体效果也提升了；通道注意力对ViT也有提升，但Deep-narrow结构更加高效；密稠连接会影响性能； 笔者认为最重要的token的生成，即可Tokens-to-token
87010编辑于 2022-04-06
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号