- 综合排序
- 最热优先
- 最新优先
- 来自专栏全栈程序员必看
预训练模型还要训练吗_多模态预训练模型
若使用已保存好的镜像reid_mgn:v1，在本机上可按如下操作训练 # 1.进入已保存环境的镜像（reid_mgn:v1（8.48G）、pytorch/pytorch:1.0.1-cuda10.0 personReID ufoym/deepo:testv1 /bin/bash (75服务器) # 2.进入到工程目录 cd /home/personReID/MGN-pytorch-master # 3.复制预训练模型到指定路径 打开另一个终端 docker ps 查看容器内镜像（找到reid_mgn:v1 前对应的数字字符串%%%%） docker stats %%%%% 实时监测内存情况 # 4.训练 （在原终端继续进行，注：demo.sh是已改好参数的） sh demo1.sh 补充： 训练前需要修改的文件及代码 1.demo.sh文件 修改data路径（把你的数据集路径添加到 –datadir）、 ：需将数据集文件名由原始的Market-1501-****改为和代码匹配的Market1501 2.trainer.py 修改train、test中的epoch 3.main.py 如果是单GPU训练
95120编辑于 2022-11-08 - 来自专栏AI科技评论
预训练后性能反而变差，自训练要取代预训练了吗？
自训练适用不同规模数据集和不同强度增强数据的训练； 3、自训练并且可以看作对预训练的补充，联合预训练和自训练可以获得更大的增益。 2 研究动机 作者希望能解决以下问题： 预训练对训练结果有多大程度的帮助？什么情况下使用预训练是无效的？ 与预训练相比，我们可以使用自训练并获得相似或更好的结果吗？ 如果自训练优于预训练（暂做这样的假设），那它在多大的程度上比预训练好？ 在什么情况下自训练比预训练更好？ 自训练的灵活性和可扩展性如何？ 3、预训练 为了研究预训练的有效性，作者使用了ImageNet预训练的检查点。 3、自监督预训练 vs 自训练 有监督的 ImageNet预训练会损害最大规模数据集和高强度数据增强下的训练效果。但是自监督的预训练呢？
1.4K10发布于 2020-07-23 - 来自专栏磐创AI技术团队的专栏
transformer预训练模型
磐创AI分享 来源 | Github 作者 | huggingace 编译 | VK 【导读】这里的预训练模型是当前提供的预训练模型的完整列表，以及每个模型的简短介绍。 在小写英语文本上训练。bert-large-uncased24个层，1024个隐藏节点，16个heads，340M参数量。在小写英语文本上训练。 在日语上字符级的训练。 用MLM进行15种XNLI语言的预训练的XLM的模型。 xlm-mlm-tlm-xnli15-1024 12个层，1024个隐藏节点，8个heads。 用MLM+TLM进行15种XNLI语言的预训练的XLM的模型。 xlm-clm-enfr-1024 6个层，1024个隐藏节点，8个heads。
5K30发布于 2020-03-31 - 来自专栏xiaosen
预训练模型介绍
中国菜“鱼香肉丝”GPT给出的做法 五、GPT背后原理 GPT（Generative Pre-trained Transformer）是一种基于深度学习的语言模型，其核心在于利用大规模的文本数据进行预训练 PyTorch：是一个动态图型的深度学习框架，提供了丰富的工具和API来构建、训练神经网络模型。它以其易用性、灵活性以及良好的社区支持而受到研究者和开发者的青睐。 GPT模型的训练过程包括两个主要阶段：预训练和微调。在预训练阶段，模型通过学习大量文本资料来把握语言的基本规律和模式；在微调阶段，模型则通过特定任务的训练数据进行精细调整，以适应具体的应用场景。
59711编辑于 2024-05-03 - 来自专栏活动
预训练范式演进：DeepSeek多阶段预训练技巧解密
从最初的无监督预训练到如今复杂的多阶段预训练范式，每一次演进都为模型性能的提升和应用场景的拓展提供了新的可能。 1.1 大模型预训练发展历程（一）早期无监督预训练在深度学习初期，无监督预训练主要通过自编码器等模型，在未标记数据上学习数据的特征表示。 （五）DeepSeek的多阶段预训练创新DeepSeek等系统进一步推动了预训练范式的发展，通过多阶段预训练策略，逐步提升模型的性能和泛化能力。 第二阶段：任务特定预训练在第二阶段，针对特定的任务类型或领域，进行进一步的预训练。 第二阶段：跨模态关联预训练将图像和文本数据结合起来，进行跨模态的关联预训练。
1.3K20编辑于 2025-03-16 - 来自专栏深度学习自然语言处理
【预训练模型】预训练语言模型的前世今生之风起云涌
在专题上一期推送【萌芽时代】里，我们介绍了预训练语言模型思想的萌芽。今天我们推出的这篇推送， 将继续为大家介绍预训练语言模型是如何进一步发展和演进的。 证明了预训练的过程直接提高了seq2seq模型的泛化能力，再次提出了预训练的重要性和通用性。 同时文中通过做对比实验确认了，对机器翻译来说，模型对泛化能力的主要提升就来自于预训练的参数特征，而对摘要提取，encoder的预训练为模型效果的巨大提升和泛化能力的提高做出了贡献。 图2为预训练seq2seq模型的结构，红色为encoder部分，蓝色为decoder部分，所有方框内参数均为语言模型预训练的，而方框外的参数为随机初始化。 所用的语言模型在一个很庞大的语料上预训练过。
1.8K20发布于 2020-03-05 - 来自专栏深度学习和计算机视觉
预训练图像处理Transformer
预训练模型能否在视觉任务上复刻在自然语言任务中的成功？ 为了更好地说明为什么要用 Transformer，研究者还设计了一个基于 CNN 的预训练模型作为对照，并在 DIV2K 数据集 2 倍超分辨率的任务上探索了不同预训练数据量对模型性能的影响。 底层视觉任务的预训练与微调 Transformer 的成功离不开大量数据预训练带来的性能提升。在这篇论文中，针对底层视觉任务，研究者提出一种使用 ImageNet 数据集对模型进行预训练的方法。 具体做法是，将 IPT 模型在没有预训练过的任务上进行微调后测试。 在表 4 中，对于噪声强度为 10 和 70 的设定下（预训练为 20 和 50），IPT 模型依旧展现出巨大的优势，展示了预训练模型良好的泛化性。 表 4：未经预训练任务上的实验结果。
85020编辑于 2022-05-22 - 来自专栏深度学习
GPT预训练模型介绍
它用一套极其聪明又略显简单的“预训练+微调”组合拳，告诉全世界：原来语言模型，可以这么玩！ 今天，我们就来拆解一下这位“祖师爷”，看看它当年是怎么“炼”成的。 在预训练阶段，它装的是“文本预测头”，专心致志猜下一个词。到了微调阶段，就换成“任务分类头”，去解决具体的下游任务。这设计既专一又灵活。 三、预训练：真正的“大力出奇迹” ✨ 理论基础再好，也得有数据“喂养”。GPT-1的“食谱”是一个名为BooksCorpus的语料库，里面是7000多本风格各异的英文小说，总计约8亿个词。 这个过程的美妙之处在于：改动成本极低：预训练好的庞大模型参数几乎全部保留，只新增一个很小的分类层参数，训练起来又快又省资源。 五、总结与启示 回过头看，GPT-1的成功，不在于它有多复杂（其结构甚至比后来的模型更简洁），而在于它验证了一条清晰可行的技术路径️：“大规模无监督预训练 + 任务适配微调” 它证明了，通过海量数据、
24810编辑于 2026-02-04 - 来自专栏自然语言处理
Bert预训练新法则！
预训练“15%遮蔽率” 惯例是可以被打破的 “15%遮蔽率”，指在一项预训练任务中，随机遮住15%的单词，并通过训练让AI学会预测遮住的单词。 预训练需要超过15%的遮蔽率 为了了解在 MLM 中可以遮蔽多少以字符及遮蔽 率如何影响预训练模型的性能，本文预训练了一系列具有不同掩蔽率的模型，范围从 15% 到80%。 结果表明语言模型预训练不必使用小于 15% 的掩码率，而使用高效预训练侧率的大型模型的最佳掩码率高达 40%。 从那时起，在过往预训练模型研究中，80-10-10规则在几乎所有的MLM预训练工作中被广泛采用。 鉴于实验结果，作者建议只使用[MASK]来做预训练。
1.2K30编辑于 2022-03-11 - 来自专栏产品经理的人工智能学习库
预训练（Pre-train）
但是在标注数据很少的情况下，通过神经网络训练出的模型往往精度有限，“预训练”则能够很好地解决这个问题，并且对一词多义进行建模。 预训练是通过大量无标注的语言文本进行语言模型的训练，得到一套模型参数，利用这套参数对模型进行初始化，再根据具体任务在现有语言模型的基础上进行精调。 预训练的方法在自然语言处理的分类和标记任务中，都被证明拥有更好的效果。目前，热门的预训练方法主要有三个：ELMo，OpenAI GPT和BERT。 ELMo和OpenAI GPT这两种预训练语言表示方法都是使用单向的语言模型来学习语言表示，而Google在提出的BERT则实现了双向学习，并得到了更好的训练效果。 预训练 上面内容转载自公众号 微软研究院AI头条，原文地址 百度百科版本 无监督预训练是用来训练的数据不包含输出目标，需要学习算法自动学习到一些有价值的信息。 查看详情
1.7K10发布于 2019-12-18 - 来自专栏FreeBuf
AI领域的预训练与自训练
但谷歌最新的研究表明，在数据量足够的情况下，至少在目标检测任务上，采用自训练得到的预训练模型对检测结果的提升要显著优于监督预训练与无监督预训练模型。 01 使用监督学习获得预训练模型 作为实验，研究者首先在Imagenet上训练分类网络作为预训练模型，之后监督得到的预训练模型作为骨干网络在COCO数据集上进行训练。 不同数据增强模式下基线、监督式预训练、自训练式预训练下的目标检测结果对比 ? 不同数据增强模式下基线、监督式预训练、自训练式预训练下的目标检测结果对比 ? 统一实验条件下三种预监督方法对比 作为与监督预训练与无监督预训练的对比，对照实验表明使用自训练方法得到的预训练模型在各种数据增强模式，不同主任务训练集尺寸的情况下都能获得明显受益，且显著优于基线(不使用预训练模型 在语义分割方面，研究者也证明了自训练的预训练方式比监督式预训练可以达到更好的效果： ?
1.8K10发布于 2020-11-16 - 来自专栏机器之心
预、自训练之争：谷歌说预训练虽火，但在标注数据上自训练更有效
众所周知，预训练是计算机视觉领域的主导范式，研究人员也热衷于预训练。 但是，预训练真的有用吗？ ； 在预训练有用的情况下，自训练比预训练更有用。 如何对比预训练和自训练 方法和控制因子 这部分涉及数据增强、预训练和自训练三个方面。 1. 预训练 为了评估预训练的效果，研究者对不同质量的 ImageNet 预训练模型检查点进行了研究。 相比基于预训练模型进行微调，自训练需要更多算力。根据预训练模型的质量、数据增强的强度和数据集规模，预训练可实现 1.3 至 1.8 倍的加速。
1.1K10发布于 2020-06-17 - 来自专栏机器学习初学者精选文章
【NLP】预训练模型综述
预训练模型综述 摘要：近年来，预训练模型的出现将自然语言处理带入了一个新的时代。本文概述了面向自然语言处理领域的预训练模型技术。我们首先概述了预训练模型及其发展历史。 并详细介绍自然语言处理领域的经典预训练模型，包括最经典的预训练模型技术和现在一系列新式的有启发意义的预训练模型。然后梳理了这些预训练模型在自然语言处理领域的优势和预训练模型的两种主流分类。 第 2 节按时间顺序简要概述了预训练语言模型的整个发展历史；第 3 节详细介绍自然语言处理领域的经典预训练模型；第 4 节小结了预训练模型的优点和其对比分类；第 5 节对自然语言处理领域的预训练语言模型的未来发展趋势进行展望 3.4 新式预训练模型 BERT 的出现开启了一个新时代，此后涌现出了大量的预训练语言模型。 4 预训练语言模型小结 4.1 预训练模型的优点 上文介绍了深度学习时代的部分预训练模型，可以从它们中总结出预训练模型的优点： 在大型文本语料库上的预训练可以学习通用语言表示并帮助完成后续任务； 预训练提供了更好的模型初始化
2.4K12发布于 2020-05-26 - 来自专栏一点人工一点智能
视觉语言预训练综述
本文系统地梳理了当前视觉语言预训练模型相关的工作，首先介绍了预训练模型的相关知识，其次从两种不同的角度分析比较预训练模型结构，讨论了常用的视觉语言预训练技术，详细介绍了5类下游预训练任务，最后介绍了常用的图像和视频预训练任务的数据集 01 内容精选 本文将围绕视觉语言预训练模型展开介绍，并通过以下6个重要方面详细介绍和讨论视觉语言预训练模型的最新进展：首先介绍视觉语言预训练模型的相关知识，包括Transformer框架、模型预训练范式和视觉语言预训练模型常见网络结构 图1 视觉语言预训练综述结构框图 1.1 介绍 预训练范式包括：预训练-微调(pretrain fine-tuning)和预训练-提示(pretrain prompt)。 预训练-微调已经成了经典的预训练范式。其做法是：首先以监督或无监督的方式在大型数据集上预训练模型，然后通过微调将预训练的模型在较小的数据集上适应特定的下游任务。 其中图像文本预训练和视频文本预训练得到了最广泛的研究。图像-文本预训练模型汇总见表1。视频-文本预训练模型汇总见表2。
81230编辑于 2023-08-25 - 来自专栏NewBeeNLP
贫穷让我预训练
01 要不要预训练 预训练的效果是直接的，需要的资源常常令人望而却步。如果有这样一种预训练方法，它需要算力、数据、人工的资源很少，低到单人单卡原始语料就可以启动。 如果不预训练的话，也会为每个下游任务专门微调模型。预训练的预期收益是确定的。我们的语料库质量上很烂，但是数量足够。算力资源很有限，配合相应的人才储备可弥补。此时预训练的条件都已经具备。 所以我们探索预训练，希望能构建统一的预训练任务，让各个下游模型都受益。 02 如何预训练 这是我们的预训练模型架构，包括Transformer的编码器、解码器和向量表示头。 04 结语 本文提出了一种新的预训练范式，上述对照实验表明了，联合训练不会造成目标冲突。GUR模型在继续预训练时，可以在保持语言建模能力的基础上，增加向量表示的能力。一次预训练，到处零原样本推理。
48440编辑于 2023-08-29 - 来自专栏机器学习AI算法工程
最强 NLP 预训练模型库 PyTorch-Transformers 正式开源：支持 6 个预训练框架，27 个预训练模型
PyTorch-Transformers（此前叫做pytorch-pretrained-bert）是面向自然语言处理，当前性能最高的预训练模型开源库。 该项目支持 BERT, GPT, GPT-2, Transfo-XL, XLNet, XLM 等，并包含 27 个预训练模型。 pytorch-transformers#quick-tour 官网： https://huggingface.co/pytorch-transformers/index.html 该开源库现在包含了 PyTorch 实现、预训练模型权重 27个预训练模型 项目中提供了27个预训练模型，下面是这些模型的完整列表，以及每个模型的简短介绍。 注意，这里要使用分布式训练和16- bits 训练，你需要安装NVIDIA的apex扩展。
1.5K20发布于 2019-10-28 - 来自专栏AI算法能力提高班
CLIP-图文预训练模型
-- paper https://arxiv.org/abs/2103.00020 code https://github.com/openai/CLIP ---- Abstract 连接文本和图像的预训练模型 训练数据是网络社交媒体上搜集的图像文本对。 在训练阶段，对于一个batch 的数据，首先通过文本编码器和图像编码器，得到文本和图像的特征，接着将所有的文本和图像特征分别计算内积，就能得到一个矩阵，然后从图像的角度看，行方向就是一个分类器，从文本角度看 第一种，利用文本prompt进行预测，将预测的embedding同类别的embedding进行相似度匹配，实现分类任务；在测试阶段，可以直接将训练好的CLIP用于其他数据集而不需要finetune。 在训练集中基本不会出现的比较novel的任务，表现欠佳，比如classifying the distance to the nearest car in a photo； 训练集中没有出现的图片类型（out-of-distribution
1K30编辑于 2023-09-13 - 来自专栏算法一只狗
ACL2021：预训练模型
On the Monolingual Performance of Multilingual Language Models 本文主要针对在预训练模型中，单语言（monolingual）模型与多语言（Multilingual 目前多语言预训练模型，例如mBert，XLM-R，mT5等，可以涵盖100多种不同的语言。但是在以前的证据中，单语言模型在下游任务上会比多语言模型要好，因此本文主要是探讨这个假设是否成立。 但是现有的预训练模型，往往会存在模型尺寸大、参数大等问题，从而限制了此类模型在实际中的部署。 因此可以利用这种规律，根据不同的异常检测任务，从而定义预训练模型的层数。 举个例子： 左图eating是形态异常、右图laughed是语义异常。 因此文本主要是在预训练的模型中，观察不同压缩比的情况下子网络的表现。从实验中观察到，随着压缩比的增加，“中奖彩票”的泛化性能先提高，然后在一定阈值后恶化。
39120编辑于 2022-11-04 - 来自专栏NewBeeNLP
Dont stop pretraining，继续预训练！
作者 | 周俊贤 整理 | NewBeeNLP 大家在用BERT等预训练模型的时候，是否有根据具体的下游任务，再进行领域的预训练？ 实验中，作者采用的是「RoBERTa模型继续针对4个领域语料继续进行预训练，得到4个领域的预训练模型」。 很自然的想法，「用任务相关的语料继续进行预训练，相对于用领域的语料继续预训练，能更直接地提升模型的效果」。 DAPT+TAPT指先对领域语料继续预训练，再对任务语料继续预训练，是效果最佳的。 计算效率 任务领域的预训练相对于适应领域的预训练，「性价比更高」。
2K20发布于 2021-10-20 - 来自专栏Soul Joy Hub
预训练语言模型合辑~
RoBerta 与bert区别 更大的训练集，更大的 batch。 不需要使用 NSP Loss。 使用更长的训练 Sequence。 动态 Mask。 RoBERTa 主要试验了 BERT 中的一些训练设置 (例如 NSP Loss 是否有意义，batch 的大小等)，并找出最好的设置，然后再更大的数据集上训练 BERT。 动态 Mask 原始的 BERT 在训练之前就把数据 Mask 了，然后在整个训练过程中都是保持数据不变的，称为 Static Mask。即同一个句子在整个训练过程中，Mask 掉的单词都是一样的。 8K 和训练步数为 31K 也是一样的。 原始BERT模型使用[MASK] token进行掩蔽，但是[MASK] token在微调阶段从未出现，这会造成预训练任务与下游微调任务不一致；因此 MacBERT 使用类似的单词来掩蔽需要被掩蔽的单词。
86620编辑于 2022-05-10
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号