- 综合排序
- 最热优先
- 最新优先
- 来自专栏一点人工一点智能
视觉语言预训练综述
本文系统地梳理了当前视觉语言预训练模型相关的工作，首先介绍了预训练模型的相关知识，其次从两种不同的角度分析比较预训练模型结构，讨论了常用的视觉语言预训练技术，详细介绍了5类下游预训练任务，最后介绍了常用的图像和视频预训练任务的数据集 01 内容精选 本文将围绕视觉语言预训练模型展开介绍，并通过以下6个重要方面详细介绍和讨论视觉语言预训练模型的最新进展：首先介绍视觉语言预训练模型的相关知识，包括Transformer框架、模型预训练范式和视觉语言预训练模型常见网络结构 视觉语言预训练综述结构框图如下图所示。 图1 视觉语言预训练综述结构框图 1.1 介绍 预训练范式包括：预训练-微调(pretrain fine-tuning)和预训练-提示(pretrain prompt)。 视觉语言预训练在飞速发展的同时也取得了许多非常不错的成果，未来视觉语言预训练模型的发展方向可以借鉴如下。 ● 计算资源。目前视觉语言预训练工作仍然需要极大的算力资源做支撑。
82930编辑于 2023-08-25 - 来自专栏深度学习自然语言处理
综述 | 最新视觉-语言预训练综述
本文调查了视觉-语言预训练 (VLP) 的最新进展和新的前沿，包括图像-文本和视频-文本预训练。 在本文中，我们关注主流的视觉-语言预训练（VLP），包括图像-文本和视频-文本预训练。VLP 主要通过基于大规模数据进行预训练来学习不同模态之间的语义对应关系。 预训练目标：预训练目标是VLP的核心，主要用于指导模型学习视觉语言相关联的信息。我们总结了典型和特殊的预训练目标，分为补全、匹配、时序和特殊类型（参见第5节）；4. 更多细节描述详见论文 Section 3 05 预训练目标本节介绍我们如何通过使用不同的预训练目标来预训练 VLP 模型，这对于学习视觉-语言的通用表示至关重要。 ；时序类型是通过对中断的输入序列重新排序来学习良好的表示，主要针对视频相关的预训练，如FrameOrder Modeling等；特殊类型由其他预训练目标组成，例如视觉问答和视觉描述等。
1.6K40编辑于 2022-03-04 - 来自专栏人工智能前沿讲习
【综述专栏】最新视觉-语言预训练综述
本文调查了视觉-语言预训练 (VLP) 的最新进展和新的前沿，包括图像-文本和视频-文本预训练。 在本文中，我们关注主流的视觉-语言预训练（VLP），包括图像-文本和视频-文本预训练。VLP 主要通过基于大规模数据进行预训练来学习不同模态之间的语义对应关系。 预训练目标：预训练目标是VLP的核心，主要用于指导模型学习视觉语言相关联的信息。我们总结了典型和特殊的预训练目标，分为补全、匹配、时序和特殊类型（参见第5节）； 4. 更多细节描述详见论文 Section 3 05 预训练目标 本节介绍我们如何通过使用不同的预训练目标来预训练 VLP 模型，这对于学习视觉-语言的通用表示至关重要。 ； 时序类型是通过对中断的输入序列重新排序来学习良好的表示，主要针对视频相关的预训练，如FrameOrder Modeling等； 特殊类型由其他预训练目标组成，例如视觉问答和视觉描述等。
82411编辑于 2022-04-11 - 来自专栏机器学习算法与Python学习
干货｜多重预训练视觉模型的迁移学习
本文我们展示了基于预训练计算机视觉模型的迁移学习的用途，并使用了keras TensorFlow抽象库。 预训练计算机视觉模型已经在大型ImageNet数据集上进行了训练，并学会了以特征向量的形式生成图像的简单表示。这里，我们将利用这个机制学习一个鸟类分类器。 对于较小的数据集，通常“冻结”网络的一些第一层，这就意味着预训练网络的参数在这些层中是固定的。其他层在新任务上像以前一样进行训练。 3.特征提取（Feature extraction）：这种方法是预训练网络最宽松的一种用法。 使用多个预训练模型后，感觉与任何情况下使用一个特征集的情况相同：它们希望提供一些不重叠的信息，从而使组合时性能更优越。
2K70发布于 2018-04-08 - 来自专栏AI科技评论
BERT新转变：面向视觉基础进行预训练！
ViLBERT代表了一种转向：从将学习视觉和语言之间的基础知识仅作为任务训练的一部分，转向将视觉基础知识作为一种可预训练和可迁移的能力。 相反，最主要的策略是先基于其他大规模任务分别预训练语言和视觉模型，然后将其作为具体任务训练的一部分学习基础知识。这种方案学习到的基础知识并不牢靠，当视觉-语言数据有限或有偏时，模型泛化能力很差。 先预训练再迁移的学习方案在计算机视觉和自然语言处理中广为应用。这种易用且表示能力强大的方案已经成为标配。 在预训练之后引入4个vision-and-language 任务： (1)视觉问答； (2)视觉常识推理； (3)指示表达； (4)基于字幕的图像检索。 这表明ViLBERT在预训练中学会了视觉和语言之间的语义对齐。 总结 本文面向图像和文本提出一个联合模型，并在自动收集的大规模数据集上进行预训练从而学习到视觉基础知识。
1.2K10发布于 2019-12-31 - 来自专栏DrugOne
ICLR 2020| VL-BERT：预训练视觉-语言模型
VL-BERT: 可预训练的通用视觉-语言表示 作者提出了一种新型可训练通用预训练表示，用于视觉-语言任务，称为视觉-语言BERT(简称VL-BERT)。 并且由于模型只针对特定任务，所以很难从预训练中获益。因为预训练的任务和目标任务可能不相关。在研究视觉语言任务的特征设计和预训练方面缺乏共识。 为了更好地进行泛化表示，模型在大型的视觉-语言语料库和纯文本数据集中对VL-BERT进行预训练。视觉语言语料库上的预训练损失是通过预测随机掩盖的单词或RoI得到。 视觉-语言语料库的预训练提高了视觉内容与语言内容的一致性。这种有效的对齐对于许多下游任务至关重要，而对纯文本语料库的预训练则有助于理解长句和复合句的后续任务。 3 实验 3.1预训练 VL-BERT使用Conceptual Captions作为视觉-语言语料库进行预训练，并将BooksCorpus 数据集和英文维基百科作为文本语料库进行预训练。
1.3K60发布于 2021-02-01 - 来自专栏全栈程序员必看
预训练模型还要训练吗_多模态预训练模型
若使用已保存好的镜像reid_mgn:v1，在本机上可按如下操作训练 # 1.进入已保存环境的镜像（reid_mgn:v1（8.48G）、pytorch/pytorch:1.0.1-cuda10.0 personReID ufoym/deepo:testv1 /bin/bash (75服务器) # 2.进入到工程目录 cd /home/personReID/MGN-pytorch-master # 3.复制预训练模型到指定路径 打开另一个终端 docker ps 查看容器内镜像（找到reid_mgn:v1 前对应的数字字符串%%%%） docker stats %%%%% 实时监测内存情况 # 4.训练 （在原终端继续进行，注：demo.sh是已改好参数的） sh demo1.sh 补充： 训练前需要修改的文件及代码 1.demo.sh文件 修改data路径（把你的数据集路径添加到 –datadir）、 ：需将数据集文件名由原始的Market-1501-****改为和代码匹配的Market1501 2.trainer.py 修改train、test中的epoch 3.main.py 如果是单GPU训练
95420编辑于 2022-11-08 - 来自专栏AI科技评论
北大邹月娴：视觉-语言预训练模型演进及应用
”论坛上，做了《视觉-语言预训练模型演进及应用》的报告，讨论了围绕大规模预训练模型的争议、最新进展以及研究思路，并给出了未来展望。 本次演讲分为4个部分：背景介绍、视觉-语言预训练模型、视觉-语言预训练模型及应用研究以及未来展望。 1 视觉-语言预训练模型的演进 关于VL预训练模型，从2019年开始就出现了非常多的出色工作，例如“开山”的ViLBERT，2020年的UNITER以及2021年的CLIP。 2 视觉-语言预训练模型及应用研究 我们对上述主流VL预训练模型，从基础网络结构、视觉输入、文本输入、主流数据集、训练策略以及下游任务六个方面进行了分析。 因此，已提出的视觉-语言预训练模型更适合迁移到下游分类任务，例如VQA。对于下游生成任务，例如图像描述，视觉-语言预训练模型并不适合。
91910编辑于 2022-03-03 - 来自专栏DeepHub IMBA
ViLBERT：用于视觉和语言任务的预训练与任务无关的视觉语言表征
ViLBERT（Lu et al.2019）代表视觉与语言BERT。听起来确实像是BERT模型的一个版本（Devlin等人，2018年），该模型很快就变成了NLP任务的SOTA，并集成了视觉输入。 ViLBERT是用于多模态任务，如视觉问答(VQA)和参考表达式。 方法总结 该模型有效地继承了BERT模型，BERT模型的许多部分在该方法中保持不变。 ? 首先分别处理图像和文本输入。 ViLBERT首先在标签生成数据集上接受训练，该数据集包含与图像内容相关的标题图像。完成这一阶段后，可以对模型进行微调，以执行VQA等其他任务。 我觉得最有趣的是 这种方法的许多部分并不新颖。 这种迁移学习已经被证明在视觉和自然语言处理环境中都有效。不用说，我发现许多部分令人兴奋，因为这是我正在阅读的多模态学习的第一篇论文之一。 ? 共同注意力是一个很有趣的话题。 该模型很好地实现了图像与文字的视觉基础匹配。我最兴奋的是看到这样一个模型将如何执行参考图像分割，其中输出是一个完整的分割掩码。一个修改的解码器和/或一个单独的分割管道可能需要得到细化的结果。
1.1K30发布于 2021-07-01 - 来自专栏AI科技评论
预训练后性能反而变差，自训练要取代预训练了吗？
预训练是运用在不同领域（例如计算机视觉、自然语言处理、语音处理）的一种非常普遍的做法。在计算机视觉任务中，我们通常使用在某个数据集上经过预训练并可直接运用到另一个数据集的模型。 2 研究动机 作者希望能解决以下问题： 预训练对训练结果有多大程度的帮助？什么情况下使用预训练是无效的？ 与预训练相比，我们可以使用自训练并获得相似或更好的结果吗？ 如果自训练优于预训练（暂做这样的假设），那它在多大的程度上比预训练好？ 在什么情况下自训练比预训练更好？ 自训练的灵活性和可扩展性如何？ 3、预训练 为了研究预训练的有效性，作者使用了ImageNet预训练的检查点。 3、自监督预训练 vs 自训练 有监督的 ImageNet预训练会损害最大规模数据集和高强度数据增强下的训练效果。但是自监督的预训练呢？
1.4K10发布于 2020-07-23 - 来自专栏磐创AI技术团队的专栏
transformer预训练模型
磐创AI分享 来源 | Github 作者 | huggingace 编译 | VK 【导读】这里的预训练模型是当前提供的预训练模型的完整列表，以及每个模型的简短介绍。 在小写英语文本上训练。bert-large-uncased24个层，1024个隐藏节点，16个heads，340M参数量。在小写英语文本上训练。 在日语上字符级的训练。 用MLM进行15种XNLI语言的预训练的XLM的模型。 xlm-mlm-tlm-xnli15-1024 12个层，1024个隐藏节点，8个heads。 用MLM+TLM进行15种XNLI语言的预训练的XLM的模型。 xlm-clm-enfr-1024 6个层，1024个隐藏节点，8个heads。
5K30发布于 2020-03-31 - 来自专栏xiaosen
预训练模型介绍
中国菜“鱼香肉丝”GPT给出的做法 五、GPT背后原理 GPT（Generative Pre-trained Transformer）是一种基于深度学习的语言模型，其核心在于利用大规模的文本数据进行预训练 PyTorch：是一个动态图型的深度学习框架，提供了丰富的工具和API来构建、训练神经网络模型。它以其易用性、灵活性以及良好的社区支持而受到研究者和开发者的青睐。 GPT模型的训练过程包括两个主要阶段：预训练和微调。在预训练阶段，模型通过学习大量文本资料来把握语言的基本规律和模式；在微调阶段，模型则通过特定任务的训练数据进行精细调整，以适应具体的应用场景。
59911编辑于 2024-05-03 - 来自专栏数据派THU
【CVPR2022】UniVIP：自监督视觉预训练的统一框架
来源：专知本文为论文，建议阅读5分钟我们提出了统一自监督视觉预训练（UniVIP） 论文标题：UniVIP: A Unified Framework for Self-Supervised Visual 为了解决上述问题，我们提出了统一自监督视觉预训练（UniVIP），这是一种新颖的自监督框架，用于在单中心对象或非标志性数据集上学习通用视觉表示。 大量实验表明，在非标志性 COCO 上预训练的 UniVIP 在图像分类、半监督学习、对象检测和分割等各种下游任务上实现了最先进的传输性能。 此外，我们的方法还可以利用 ImageNet 等单中心对象数据集，并且在线性探测中使用相同的预训练 epoch 时比 BYOL 高 2.5%，并且在 COCO 数据集上超越了当前的自监督对象检测方法，证明了它的普遍性和潜在性能
58630编辑于 2022-03-21 - 来自专栏活动
预训练范式演进：DeepSeek多阶段预训练技巧解密
项目背景与技术演进在人工智能与深度学习蓬勃发展的当下，预训练模型成为了推动自然语言处理、计算机视觉等众多领域取得突破性进展的关键力量。 1.1 大模型预训练发展历程（一）早期无监督预训练在深度学习初期，无监督预训练主要通过自编码器等模型，在未标记数据上学习数据的特征表示。 通过将文本、图像、音频等多种模态数据结合起来进行预训练，模型能够学习到跨模态的特征表示和关联信息，为多模态下游任务（如图像描述生成、视觉问答等）提供了强大的支持。 例如，在自然语言处理领域，可以对模型进行命名实体识别、句子关系判断等任务的预训练；在计算机视觉领域，可以对模型进行图像分类、目标检测等任务的预训练。 在语言模型预训练中，采用Masked Language Model任务，让模型学习到文本中的词汇和语法知识；在图像特征预训练中，使用图像分类任务，让模型学习到图像的基本视觉特征。
1.3K20编辑于 2025-03-16 - 来自专栏机器之心
微软亚研提出VL-BERT：通用的视觉-语言预训练模型
为了让 VL-BERT 模型利用更为通用的特征表示，作者在大规模图片描述生成数据集 ConceptualCaptions 中进行 VL-BERT 的预训练，实验证明此预训练过程可以显著提高下游的视觉-语言任务的效果 但对于计算机视觉和自然语言处理领域交叉的任务，例如图像标题生成、视觉问答、视觉常识推理等，缺少这种预训练的通用多模态特征表示。 并且对于不同的视觉-语言任务，其网络架构一般是经过特殊设计的，由此很难通过视觉-语言联合预训练的过程帮助下游任务。 为了更好地建模通用的视觉-语言表示，作者在大规模视觉-语言语料库中对 VL-BERT 进行了预训练。 在预训练结束后，使用微调来进行下游任务的训练。
92810发布于 2019-09-03 - 来自专栏NLP/KG
多模态对比语言图像预训练CLIP：打破语言与视觉的界限
多模态对比语言图像预训练CLIP：打破语言与视觉的界限一种基于多模态（图像、文本）对比训练的神经网络。它可以在给定图像的情况下，使用自然语言来预测最相关的文本片段，而无需为特定任务进行优化。 多模态对比语言图像预训练（CLIP）是一种神经网络模型，它通过多模态对比训练来学习图像和文本之间的关联。与传统的单模态预训练模型不同，CLIP能够同时处理图像和文本，从而更好地理解它们之间的语义关系。 这使得CLIP成为了一种通用的多模态预训练模型，可以广泛应用于图像标注、视觉问答、图像生成等领域。CLIP(对比语言图像预训练)是一种基于多种(图像、文本)对进行训练的神经网络。 我们发现CLIP在不使用任何原始的1.28M标记示例的情况下，在ImageNet“零射击”上匹配原始ResNet50的性能，克服了计算机视觉中的几个主要挑战。 这可以用作模型的输入' clip.load() '返回的模型支持以下方法:model.encode_image(image: Tensor)给定一批图像，返回由CLIP模型的视觉部分编码的图像特征。
1.3K31编辑于 2023-10-31 - 来自专栏NLP/KG
多模态对比语言图像预训练CLIP：打破语言与视觉的界限
多模态对比语言图像预训练CLIP：打破语言与视觉的界限 一种基于多模态（图像、文本）对比训练的神经网络。它可以在给定图像的情况下，使用自然语言来预测最相关的文本片段，而无需为特定任务进行优化。 多模态对比语言图像预训练（CLIP）是一种神经网络模型，它通过多模态对比训练来学习图像和文本之间的关联。 与传统的单模态预训练模型不同，CLIP能够同时处理图像和文本，从而更好地理解它们之间的语义关系。 CLIP的设计类似于GPT-2和GPT-3，是一种自回归语言模型。 这使得CLIP成为了一种通用的多模态预训练模型，可以广泛应用于图像标注、视觉问答、图像生成等领域。 CLIP(对比语言图像预训练)是一种基于多种(图像、文本)对进行训练的神经网络。 我们发现CLIP在不使用任何原始的1.28M标记示例的情况下，在ImageNet“零射击”上匹配原始ResNet50的性能，克服了计算机视觉中的几个主要挑战。
61820编辑于 2023-11-01 - 来自专栏深度学习自然语言处理
【预训练模型】预训练语言模型的前世今生之风起云涌
在专题上一期推送【萌芽时代】里，我们介绍了预训练语言模型思想的萌芽。今天我们推出的这篇推送， 将继续为大家介绍预训练语言模型是如何进一步发展和演进的。 证明了预训练的过程直接提高了seq2seq模型的泛化能力，再次提出了预训练的重要性和通用性。 同时文中通过做对比实验确认了，对机器翻译来说，模型对泛化能力的主要提升就来自于预训练的参数特征，而对摘要提取，encoder的预训练为模型效果的巨大提升和泛化能力的提高做出了贡献。 图2为预训练seq2seq模型的结构，红色为encoder部分，蓝色为decoder部分，所有方框内参数均为语言模型预训练的，而方框外的参数为随机初始化。 所用的语言模型在一个很庞大的语料上预训练过。
1.8K20发布于 2020-03-05 - 来自专栏深度学习和计算机视觉
预训练图像处理Transformer
该研究认为输入和输出维度相同的底层视觉任务更适合 Transformer 处理。 预训练模型能否在视觉任务上复刻在自然语言任务中的成功？ 华为诺亚方舟实验室联合北京大学、悉尼大学、鹏城实验室提出底层视觉 Transformer，使用 ImageNet 预训练，在多项视觉任务上达到 SOTA。 因此，很多研究都在考虑如何在计算机视觉领域发挥 Transformer 模型与预训练的潜力。 预训练得到的模型经过微调即可在多个视觉任务上大幅超越对应任务上的当前最好模型。 底层视觉任务的预训练与微调 Transformer 的成功离不开大量数据预训练带来的性能提升。在这篇论文中，针对底层视觉任务，研究者提出一种使用 ImageNet 数据集对模型进行预训练的方法。
85720编辑于 2022-05-22 - 来自专栏深度学习
GPT预训练模型介绍
它用一套极其聪明又略显简单的“预训练+微调”组合拳，告诉全世界：原来语言模型，可以这么玩！ 今天，我们就来拆解一下这位“祖师爷”，看看它当年是怎么“炼”成的。 在预训练阶段，它装的是“文本预测头”，专心致志猜下一个词。到了微调阶段，就换成“任务分类头”，去解决具体的下游任务。这设计既专一又灵活。 三、预训练：真正的“大力出奇迹” ✨ 理论基础再好，也得有数据“喂养”。GPT-1的“食谱”是一个名为BooksCorpus的语料库，里面是7000多本风格各异的英文小说，总计约8亿个词。 这个过程的美妙之处在于：改动成本极低：预训练好的庞大模型参数几乎全部保留，只新增一个很小的分类层参数，训练起来又快又省资源。 五、总结与启示 回过头看，GPT-1的成功，不在于它有多复杂（其结构甚至比后来的模型更简洁），而在于它验证了一条清晰可行的技术路径️：“大规模无监督预训练 + 任务适配微调” 它证明了，通过海量数据、
26010编辑于 2026-02-04
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号