- 综合排序
- 最热优先
- 最新优先
- 来自专栏一点人工一点智能
视觉语言预训练综述
本文系统地梳理了当前视觉语言预训练模型相关的工作，首先介绍了预训练模型的相关知识，其次从两种不同的角度分析比较预训练模型结构，讨论了常用的视觉语言预训练技术，详细介绍了5类下游预训练任务，最后介绍了常用的图像和视频预训练任务的数据集 01 内容精选 本文将围绕视觉语言预训练模型展开介绍，并通过以下6个重要方面详细介绍和讨论视觉语言预训练模型的最新进展：首先介绍视觉语言预训练模型的相关知识，包括Transformer框架、模型预训练范式和视觉语言预训练模型常见网络结构 视觉语言预训练综述结构框图如下图所示。 图1 视觉语言预训练综述结构框图 1.1 介绍 预训练范式包括：预训练-微调(pretrain fine-tuning)和预训练-提示(pretrain prompt)。 视觉语言预训练在飞速发展的同时也取得了许多非常不错的成果，未来视觉语言预训练模型的发展方向可以借鉴如下。 ● 计算资源。目前视觉语言预训练工作仍然需要极大的算力资源做支撑。
83130编辑于 2023-08-25 - 来自专栏Soul Joy Hub
预训练语言模型合辑~
RoBerta 与bert区别 更大的训练集，更大的 batch。 不需要使用 NSP Loss。 使用更长的训练 Sequence。 动态 Mask。 RoBERTa 主要试验了 BERT 中的一些训练设置 (例如 NSP Loss 是否有意义，batch 的大小等)，并找出最好的设置，然后再更大的数据集上训练 BERT。 动态 Mask 原始的 BERT 在训练之前就把数据 Mask 了，然后在整个训练过程中都是保持数据不变的，称为 Static Mask。即同一个句子在整个训练过程中，Mask 掉的单词都是一样的。 8K 和训练步数为 31K 也是一样的。 原始BERT模型使用[MASK] token进行掩蔽，但是[MASK] token在微调阶段从未出现，这会造成预训练任务与下游微调任务不一致；因此 MacBERT 使用类似的单词来掩蔽需要被掩蔽的单词。
87020编辑于 2022-05-10 - 来自专栏深度学习自然语言处理
【预训练模型】预训练语言模型的前世今生之风起云涌
来自：晴天1号 前言 欢迎大家来到我们预训练语言模型的专题系列分享，本篇推送是该专题的第二篇！ 在专题上一期推送【萌芽时代】里，我们介绍了预训练语言模型思想的萌芽。今天我们推出的这篇推送， 将继续为大家介绍预训练语言模型是如何进一步发展和演进的。 他们提出了一种方法，使用两个预训练语言模型的参数来初始化seq2seq模型的encoder网络和decoder网络。 图2为预训练seq2seq模型的结构，红色为encoder部分，蓝色为decoder部分，所有方框内参数均为语言模型预训练的，而方框外的参数为随机初始化。 本方法通过深层双向语言模型的内部状态来学习到词向量。所用的语言模型在一个很庞大的语料上预训练过。
1.8K20发布于 2020-03-05 - 来自专栏深度学习自然语言处理
综述 | 最新视觉-语言预训练综述
本文调查了视觉-语言预训练 (VLP) 的最新进展和新的前沿，包括图像-文本和视频-文本预训练。 在本文中，我们关注主流的视觉-语言预训练（VLP），包括图像-文本和视频-文本预训练。VLP 主要通过基于大规模数据进行预训练来学习不同模态之间的语义对应关系。 预训练目标：预训练目标是VLP的核心，主要用于指导模型学习视觉语言相关联的信息。我们总结了典型和特殊的预训练目标，分为补全、匹配、时序和特殊类型（参见第5节）；4. 更多细节描述详见论文 Section 3 05 预训练目标本节介绍我们如何通过使用不同的预训练目标来预训练 VLP 模型，这对于学习视觉-语言的通用表示至关重要。 尽管音频中的语义信息可能与语言重叠，但音频可以提供额外的情感信息、声学边界信息等。此外，使用音频进行预训练使模型能够处理具有声学输入的下游任务。
1.6K40编辑于 2022-03-04 - 来自专栏海边的拾遗者
一文了解预训练语言模型！
通过大数据预训练加小数据微调，自然语言处理任务的解决，无须再依赖大量的人工调参。 借助预训练语言模型，自然语言处理模型进入了可以大规模复制的工业化时代。 那到底什么是预训练？为什么需要预训练呢？ 以下内容节选自《预训练语言模型》一书！ ---- --正文-- 01 预训练 预训练属于迁移学习的范畴。 ELMo 开启了第二代预训练语言模型的时代，即“预训练+ 微调”的范式。 03 预训练语言模型发展史及分类 图4 给出了预训练语言模型的发展史。 图4 预训练语言模型的发展史 可以看到，2013 年，word2vec 开启了自然语言预训练的序章。 预训练语言模型的缺陷在哪里？未来的发展趋势如何？《预训练语言模型》一书的第8章对这些问题进行了探讨，感兴趣的同学可以阅读《预训练语言模型》一书！
1.2K30编辑于 2022-09-22 - 来自专栏博文视点Broadview
一文了解预训练语言模型！
通过大数据预训练加小数据微调，自然语言处理任务的解决，无须再依赖大量的人工调参。 借助预训练语言模型，自然语言处理模型进入了可以大规模复制的工业化时代。 那到底什么是预训练？为什么需要预训练呢？ 以下内容节选自《预训练语言模型》一书！ ---- --正文-- 01 预训练 预训练属于迁移学习的范畴。 03 预训练语言模型发展史及分类 图4 给出了预训练语言模型的发展史。 图4 预训练语言模型的发展史 可以看到，2013 年，word2vec 开启了自然语言预训练的序章。 预训练语言模型的缺陷在哪里？未来的发展趋势如何？《预训练语言模型》一书的第8章对这些问题进行了探讨，感兴趣的同学可以阅读《预训练语言模型》一书！ ▊《预训练语言模型》 邵浩 刘一烽 编著 梳理预训练语言模型的发展历史、基本概念 剖析具有代表性的预训练语言模型的实现细节，配代码 预训练语言模型的评测、应用及趋势分析 （京东限时活动，快快扫码抢购吧
74120编辑于 2023-05-19 - 来自专栏机器学习之禅
自然语言预训练模型大总结
本文主要援引复旦大学邱锡鹏教授的论文：NLP预训练模型综述，对预训练模型进行了一些梳理 模型参数的数量增长迅速，而为了训练这些参数，就需要更大的数据集来避免过拟合，而大规模的标注数据集成本又非常高。 预训练的优点可以总结为以下三点： 在大规模语料上通过预训练学习通用语言表示对下游任务很有帮助； 预训练提供了更好的模型初始化参数，使得在目标任务上有更好的泛化性能和更快的收敛速度； 预训练是一种有效的正则化方法 1.词嵌入（Embedding）属于第一代预训练模型 静态、浅层的模型训练。 语言模型（LM Language Model） 这个是在无监督训练的基础上，获取到一个初始的预训练模型，然后叠加 b. 使用了6种编程语言和自然语言进行训练，支持Go, Java, PHP, Python等等，可以理解自然语言并生成代码，或者根据代码添加注释，这个有点意思，有兴趣的可以实测一下 4.领域预训练 这个就是针对于特定领域的语料进行的模型训练
1.1K20编辑于 2022-07-11 - 来自专栏人工智能前沿讲习
【综述专栏】最新视觉-语言预训练综述
本文调查了视觉-语言预训练 (VLP) 的最新进展和新的前沿，包括图像-文本和视频-文本预训练。 在本文中，我们关注主流的视觉-语言预训练（VLP），包括图像-文本和视频-文本预训练。VLP 主要通过基于大规模数据进行预训练来学习不同模态之间的语义对应关系。 预训练目标：预训练目标是VLP的核心，主要用于指导模型学习视觉语言相关联的信息。我们总结了典型和特殊的预训练目标，分为补全、匹配、时序和特殊类型（参见第5节）； 4. 更多细节描述详见论文 Section 3 05 预训练目标 本节介绍我们如何通过使用不同的预训练目标来预训练 VLP 模型，这对于学习视觉-语言的通用表示至关重要。 以前关于多模态预训练的大多数工作都强调语言和视觉的联合建模，但忽略了隐藏在音频中的信息。尽管音频中的语义信息可能与语言重叠，但音频可以提供额外的情感信息、声学边界信息等。
82611编辑于 2022-04-11 - 来自专栏我爱计算机视觉
【综述】基于Transformer的视频语言预训练
预训练阶段有助于模型学习通用表示法，这有助于完成下游任务。 基于Transformer的预训练方法首次被提出用于自然语言处理（NLP）任务，并取得了显著的性能提升。 VATT验证了大规模的自监督预训练是一个很有希望的方向，可以通过纯基于注意力的模型和端到端训练来学习多模态表征（视频、文本、音频）。 VICTOR是在中文视频语言数据集上训练的。 Conclusion 预训练已成为NLP中的一种流行方法，并在视觉任务中得到了进一步应用。与其他视觉语言预预训练工作相比，Video-Language的预训练作品较少。 因此，本文对视频语言处理的预训练方法进行了全面概述。 尽管预训练在各种视频语言任务上都有明显的改善，但Transformer在视频语言上的潜力还没有得到充分的挖掘，还有几个亟待解决的问题：预训练数据集，Video-Language Transformer的设计和
1.4K10编辑于 2022-04-18 - 来自专栏朴素人工智能
pytorch中文语言模型bert预训练代码
这篇论文做了很多语言模型预训练的实验，系统的分析了语言模型预训练对子任务的效果提升情况。 虽然在bert上语言模型预训练在算法比赛中已经是一个稳定的上分操作。但是上面这篇文章难能可贵的是对这个操作进行了系统分析。 为了用最少的代码成本完成bert语言模型预训练，本文借鉴了里面的一些现成代码。也尝试分享一下使用pytorch进行语言模型预训练的一些经验。 /bert-base-chinese) 这是最常见的中文bert语言模型，基于中文维基百科相关语料进行预训练。 把它作为baseline，在领域内无监督数据进行语言模型预训练很简单。只需要使用官方给的例子就好。
4.7K10发布于 2020-07-24 - 来自专栏全栈程序员必看
预训练模型还要训练吗_多模态预训练模型
若使用已保存好的镜像reid_mgn:v1，在本机上可按如下操作训练 # 1.进入已保存环境的镜像（reid_mgn:v1（8.48G）、pytorch/pytorch:1.0.1-cuda10.0 personReID ufoym/deepo:testv1 /bin/bash (75服务器) # 2.进入到工程目录 cd /home/personReID/MGN-pytorch-master # 3.复制预训练模型到指定路径 打开另一个终端 docker ps 查看容器内镜像（找到reid_mgn:v1 前对应的数字字符串%%%%） docker stats %%%%% 实时监测内存情况 # 4.训练 （在原终端继续进行，注：demo.sh是已改好参数的） sh demo1.sh 补充： 训练前需要修改的文件及代码 1.demo.sh文件 修改data路径（把你的数据集路径添加到 –datadir）、 ：需将数据集文件名由原始的Market-1501-****改为和代码匹配的Market1501 2.trainer.py 修改train、test中的epoch 3.main.py 如果是单GPU训练
95420编辑于 2022-11-08 - 来自专栏DrugOne
arXiv | 如何更好地理解自然语言？自训练+预训练
作者在文章中提出，可以利用自训练提升自然语言理解的预训练模型，并且提出了一种用于数据增强的新方法——SentAugment，可从大规模无标签的网络句子中检索用于特定任务的无标签句子，辅助语言模型的自训练过程 这些带有合成标签的数据被用于训练一个学生模型，使得学生模型具有与教师模型相似或更好的性能。最近在自然语言理解上的工作通常集中在预训练模型上，而自训练也是利用无标签数据的一种有效方法。 作者在预训练基准上引入自训练，通过研究表明自训练是对自然语言理解的强大预训练模型的一种补充。 此外，无标签数据通常是半监督学习的一个重要组成部分。 ST表示自训练，即用带合成标签的数据集来训练预训练模型RoBERTa-Large，ICP表示域内连续预训练，直接在目标领域的检索数据上进行预训练，不适用合成标签。 4 总结 在本文中，作者表明自训练是利用无标签数据的另一种有效方法，当自训练和预训练结合时，可以进一步改进RoBERTa模型性能。
68930发布于 2021-03-17 《预训练语言模型：开启智能时代的大门》
在当今人工智能领域，预训练语言模型如BERT和GPT已经成为核心技术，深刻影响着自然语言处理和众多相关领域。它们的训练过程和应用场景备受关注。 预训练语言模型的训练过程数据准备首先要收集大量的文本数据，这些数据涵盖了各种领域和主题。例如新闻、小说、学术论文等。数据的多样性和丰富性是训练模型的基础。 预训练语言模型的应用场景文本分类在文本分类任务中，预训练语言模型可以将文本映射到一个高维空间中，然后根据文本的特征进行分类。例如，将新闻文章分类为不同的主题，如政治、经济、文化等。 问答系统预训练语言模型能够回答各种问题。它可以理解问题的含义，并从大量的文本中找到答案。例如，在智能客服系统中回答用户的问题。语言生成在语言生成方面，预训练语言模型可以生成自然流畅的文本。 它们的训练过程和应用场景都非常广泛。通过不断地优化和改进，预训练语言模型能够为我们提供更加高效、准确的服务。在未来的发展中，预训练语言模型将会继续发挥重要作用。
21200编辑于 2025-01-03- 来自专栏博文视点Broadview
当知识图谱遇上预训练语言模型
点击“博文视点Broadview”，获取更多书讯 知识图谱与语言预训练是什么关系呢？ 本文就将从语言预训练模型开始，介绍知识对语言预训练模型的价值，并介绍几个前沿的知识图谱增强语言预训练模型。 因此，有越来越多的研究工作关注怎样把知识图谱和语言预训练模型结合起来，将知识图谱注入语言预训练模型中，以提升预训练模型处理复杂问题的能力。 02 语言预训练简介 首先简要介绍语言预训练模型。 如图2所示为语言预训练模型的发展示意图，展示了近年来语言预训练模型的传承和发展。 图2 各种语言预训练模型的发展示意图 03 知识图谱增强的语言预训练模型举例 1．为什么需要知识图谱 我们更关心的问题是知识图谱对于语言预训练模型有什么价值？ 04 知识驱动的语言预训练总结 知识对于语言的理解至关重要，在语言预训练模型大行其道的当下，将知识融入语言预训练模型中是重要的技术发展方向。
97810编辑于 2023-05-06 - 来自专栏深度学习自然语言处理
预训练语言模型的前世今生萌芽时代
前言 前段时间，在github里发现一个很不错的repo，是母校自然语言处理实验室维护的关于自然语言处理中预训练语言模型的必读论文推荐，在此奉上链接，并由衷感谢他们的整理。 萌芽时代（2015-2016） 这篇文章起名为萌芽时代，一方面指的是我们今天将要介绍的两篇文章是NLP预训练语言模型刚刚如雨后春笋般冒出萌芽的阶段，他们开创了预训练语言模型的先河，并且与当时流行的词嵌入方法相承接 语言模型 言归正传 我们通常所理解的语言模型简单来说就是建模一句句子存在的可能性，我们提到的预训练语言模型 （PLM，Pre-trained Language Model）指的是利用大量在人们生活中出现过的文本来训练 预训练模型其实在图像中早已被应用，而预训练语言模型的概念于2015 年被认为首次提出（Dai & Le,2015，Semi-supervised Sequence Learning）。 从此以后，预训练语言模型渐渐步入了人们的视野，更在之后由一系列更优秀更强大的模型发扬光大。
1.7K30发布于 2020-03-05 - 来自专栏AI科技大本营的专栏
赠书 | 一文了解预训练语言模型
通过大数据预训练加小数据微调，自然语言处理任务的解决，无须再依赖大量的人工调参。借助预训练语言模型，自然语言处理模型进入了可以大规模复制的工业化时代。 那到底什么是预训练？为什么需要预训练呢？ ELMo 开启了第二代预训练语言模型的时代，即“预训练+ 微调”的范式。 预训练语言模型发展史及分类 图4 给出了预训练语言模型的发展史，可以看到，2013 年，word2vec 开启了自然语言预训练的序章。 图8 预训练语言模型分类体系图 依据四种不同的分类标准，对主流预训练语言模型进行了分类整理。 第一个标准是语言表示是否上下文相关。 预训练语言模型的缺陷在哪里？未来的发展趋势如何？《预训练语言模型》一书的第8章对这些问题进行了探讨，感兴趣的同学可以阅读《预训练语言模型》。
48010编辑于 2023-05-08 - 来自专栏AI科技大本营的专栏
让预训练语言模型读懂数字：超对称技术发布 10 亿参数 BigBang Transformer 金融大规模预训练语言模型
目录 1.通用大模型的缺陷 2.专注于融合训练时序-文本跨模态的预训练模型算法架构 3.学术和工业界覆盖最完整，规模最大的金融投资类数据集 4.创新的预训练方法可大幅提高语言模型准确度：Similarity 超对称公司针对金融投资领域的应用设计和训练了一个大规模参数预训练语言模型Big Bang Transformer乾元(BBT)，目前发布了Base 版本2.2亿参数和Large 版本 10亿参数。 3、学术和工业界覆盖最完整，规模最大的金融投资类数据集 语料库的质量、数量和多样性直接影响语言模型预训练的效果，现有的中文金融预训练语言模型，例如FinBERT与英伟达发布的FinMegatron，其预训练语料在数量和多样性上十分有限 这一创新点不仅适用于金融领域语言模型的预训练工作，它的思想同样可以推广到其他具备多种异质语料来源的领域，例如生物医药，法律等领域。 模型能在海量时序数据中识别出变化的模式和规律，并通过预训练语言大模型将其与现实世界准确对应，从而在数据世界和人类语言世界建立起桥梁，将会给更广泛的数字化技术带来革命，包括商业数据分析，数据可视化，数据库技术等
1.2K40编辑于 2022-09-04 - 来自专栏我爱计算机视觉
视频预训练界的HERO！微软提出视频-语言全表示预训练模型HERO，代码已开源！
Motivation 受BERT启发，大规模的多模态预训练在视觉与语言研究领域盛行，比如ViLBERT，LXMERT，UNITER等等。 为了解决这些挑战，作者提出了一个新的视频和语言大规模训练预框架——HERO （H ierarchical E ncodeR for O mni-representation learning）。 在FOM中，作者随机选择并打乱视频帧的一个子集，并训练模型恢复它们的原始顺序。大量的消融研究表明，VSM和FOM在视频+语言预训练中都起着关键作用。 总结 在本文中，作者提出了一种用于视频+语言全表示预训练的层次编码器。本文的HERO模型提出了一个层次结构，包括跨模态Transformer和时间Transformer的多模态融合。 作者提出了新的预训练任务来捕获局部和全局的时间对齐。在两个大规模视频数据集上进行预训练之后，当HERO迁移到多个视频和语言任务时，HERO大大超过了SOTA水平。
2.9K20发布于 2021-11-18 - 来自专栏深度学习自然语言处理
预训练再次跨界！百度提出ERNIE-GeoL，地理位置-语言联合预训练！
然而，通用的预训练语言模型在应用于地图业务（如POI检索、POI推荐、POI信息处理等）时的边际效应愈发明显，即随着预训练语言模型的优化，其在地图业务中所带来的提升效果越来越小。 而目前通用的预训练语言模型则缺乏可以建立『地理位置-语言』之间关联的训练数据以及预训练任务。 我们的创新：地理预训练模型ERNIE-GeoL NLP预训练模型（如ERNIE 3.0）主要聚焦于语言类任务建模，跨模态预训练模型（如ERNIE-ViL）主要侧重于『视觉-语言』类任务建模。 3.预训练目标 为了让模型充分学习『地理位置-语言』间的关联，需要设计行之有效的预训练目标。 为此，在用于学习地名知识的掩码语言模型（MLM）预训练任务之外，我们设计了用于学习文本与地理坐标关联的Geocoding（GC）预训练任务。
1.2K20编辑于 2022-04-14 - 来自专栏用户2133719的专栏
自然语言处理中的预训练模型（上）
近年来，大量的研究表明基于大型语料库的「预训练模型」（PTM）可以学习通用的语言表示，有利于下游 NLP 任务，同时能够避免从零开始训练模型。 预训练的优点可以总结为以下三点： 在大规模语料库上的预训练可以学习到通用语言表示，对下游任务很有帮助 预训练提供了更好的模型初始化，使得在目标任务上有更好的泛化性能和更快的收敛速度 预训练可以看做一种避免在小数据集上过拟合的正则化方法 我们已经在 2.2 节中简单介绍了上下文编码器的不同结构，本章我们将专注于预训练任务，并给出一种 PTM 的分类方法。 3.1 预训练任务 预训练任务对于学习语言的通用表示至关重要。 3.1.3 排列语言模型（PLM） 针对 MLM 任务在预训练过程中引入的 mask 等特殊标记可能会导致与下游任务不匹配的问题，「XLNet」 提出排列了「排列语言模型」（PLM）。 大量的文献分析了存储在预训练嵌入（非上下文和上下文）中的「语言知识」和「世界知识」。 3.3.1 非上下文嵌入 从静态词向量中，研究人员提取出了各种语言知识。
2.2K20发布于 2020-08-14
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号