- 综合排序
- 最热优先
- 最新优先
- 来自专栏全栈程序员必看
预训练模型还要训练吗_多模态预训练模型
若使用已保存好的镜像reid_mgn:v1，在本机上可按如下操作训练 # 1.进入已保存环境的镜像（reid_mgn:v1（8.48G）、pytorch/pytorch:1.0.1-cuda10.0 personReID ufoym/deepo:testv1 /bin/bash (75服务器) # 2.进入到工程目录 cd /home/personReID/MGN-pytorch-master # 3.复制预训练模型到指定路径 -19c8e357.pth #### 注每次需查电脑自动保存的根目录 /root/.cache/torch/checkpoints/resnet50-19c8e357.pth 会因电脑不同而不同 cp /home/personReID/MGN-pytorch-master/resnet50-19c8e357.pth /root/.torch/models/resnet50-19c8e357.pth # （在原终端继续进行，注：demo.sh是已改好参数的） sh demo1.sh 补充： 训练前需要修改的文件及代码 1.demo.sh文件 修改data路径（把你的数据集路径添加到 –datadir）、
95420编辑于 2022-11-08 - 来自专栏AI科技评论
预训练后性能反而变差，自训练要取代预训练了吗？
2 研究动机 作者希望能解决以下问题： 预训练对训练结果有多大程度的帮助？什么情况下使用预训练是无效的？ 与预训练相比，我们可以使用自训练并获得相似或更好的结果吗？ 如果自训练优于预训练（暂做这样的假设），那它在多大的程度上比预训练好？ 在什么情况下自训练比预训练更好？ 自训练的灵活性和可扩展性如何？ 3、预训练 为了研究预训练的有效性，作者使用了ImageNet预训练的检查点。 3、自监督预训练 vs 自训练 有监督的 ImageNet预训练会损害最大规模数据集和高强度数据增强下的训练效果。但是自监督的预训练呢？ 预训练的加速范围是1.3倍至8倍，具体取决于预训练模型的质量、数据增强的强度和数据集的大小。 自训练并不能完全替代迁移学习和微调，这两种技术将来也会被大量使用。
1.4K10发布于 2020-07-23 - 来自专栏磐创AI技术团队的专栏
transformer预训练模型
磐创AI分享 来源 | Github 作者 | huggingace 编译 | VK 【导读】这里的预训练模型是当前提供的预训练模型的完整列表，以及每个模型的简短介绍。 在英语和德语的维基语料上训练的XLM的英语-德语模型 xlm-mlm-enfr-1024 6个层，1024个隐藏节点，8个heads。 在英语和法语的维基语料上训练的LM的英语-法语模型 xlm-mlm-enro-1024 6个层，1024个隐藏节点，8个heads。 XLM的英语-罗马尼亚多语言模型 xlm-mlm-xnli15-1024 12个层，1024个隐藏节点，8个heads。用MLM进行15种XNLI语言的预训练的XLM的模型。 xlm-mlm-tlm-xnli15-1024 12个层，1024个隐藏节点，8个heads。用MLM+TLM进行15种XNLI语言的预训练的XLM的模型。
5K30发布于 2020-03-31 - 来自专栏xiaosen
预训练模型介绍
中国菜“鱼香肉丝”GPT给出的做法 五、GPT背后原理 GPT（Generative Pre-trained Transformer）是一种基于深度学习的语言模型，其核心在于利用大规模的文本数据进行预训练 PyTorch：是一个动态图型的深度学习框架，提供了丰富的工具和API来构建、训练神经网络模型。它以其易用性、灵活性以及良好的社区支持而受到研究者和开发者的青睐。 GPT模型的训练过程包括两个主要阶段：预训练和微调。在预训练阶段，模型通过学习大量文本资料来把握语言的基本规律和模式；在微调阶段，模型则通过特定任务的训练数据进行精细调整，以适应具体的应用场景。
60011编辑于 2024-05-03 - 来自专栏活动
预训练范式演进：DeepSeek多阶段预训练技巧解密
从最初的无监督预训练到如今复杂的多阶段预训练范式，每一次演进都为模型性能的提升和应用场景的拓展提供了新的可能。 1.1 大模型预训练发展历程（一）早期无监督预训练在深度学习初期，无监督预训练主要通过自编码器等模型，在未标记数据上学习数据的特征表示。 （五）DeepSeek的多阶段预训练创新DeepSeek等系统进一步推动了预训练范式的发展，通过多阶段预训练策略，逐步提升模型的性能和泛化能力。 第二阶段：任务特定预训练在第二阶段，针对特定的任务类型或领域，进行进一步的预训练。 第二阶段：跨模态关联预训练将图像和文本数据结合起来，进行跨模态的关联预训练。
1.3K20编辑于 2025-03-16 - 来自专栏大数据文摘
8种优秀预训练模型大盘点，NLP应用so easy！
为什么要使用预训练模型？ NLP之旅的顶级预训练模型，以及该领域的最新研究成果。 utm_source=blog&utm_medium=top-pretrained-models-nlp-article 本文涵盖的NLP预训练模型 我根据应用场景将预训练模型分为三类： 多用途NLP模型 这里我提供了每种模型的研究论文和预训练模型的链接，来探索一下吧！ /flair 其他预训练模型 StanfordNLP （斯坦福） ?
1.3K30发布于 2019-04-26 - 来自专栏深度学习自然语言处理
【预训练模型】预训练语言模型的前世今生之风起云涌
在专题上一期推送【萌芽时代】里，我们介绍了预训练语言模型思想的萌芽。今天我们推出的这篇推送， 将继续为大家介绍预训练语言模型是如何进一步发展和演进的。 证明了预训练的过程直接提高了seq2seq模型的泛化能力，再次提出了预训练的重要性和通用性。 同时文中通过做对比实验确认了，对机器翻译来说，模型对泛化能力的主要提升就来自于预训练的参数特征，而对摘要提取，encoder的预训练为模型效果的巨大提升和泛化能力的提高做出了贡献。 图2为预训练seq2seq模型的结构，红色为encoder部分，蓝色为decoder部分，所有方框内参数均为语言模型预训练的，而方框外的参数为随机初始化。 所用的语言模型在一个很庞大的语料上预训练过。
1.8K20发布于 2020-03-05 - 来自专栏深度学习和计算机视觉
预训练图像处理Transformer
预训练模型能否在视觉任务上复刻在自然语言任务中的成功？ 为了更好地说明为什么要用 Transformer，研究者还设计了一个基于 CNN 的预训练模型作为对照，并在 DIV2K 数据集 2 倍超分辨率的任务上探索了不同预训练数据量对模型性能的影响。 底层视觉任务的预训练与微调 Transformer 的成功离不开大量数据预训练带来的性能提升。在这篇论文中，针对底层视觉任务，研究者提出一种使用 ImageNet 数据集对模型进行预训练的方法。 具体做法是，将 IPT 模型在没有预训练过的任务上进行微调后测试。 在表 4 中，对于噪声强度为 10 和 70 的设定下（预训练为 20 和 50），IPT 模型依旧展现出巨大的优势，展示了预训练模型良好的泛化性。 表 4：未经预训练任务上的实验结果。
85720编辑于 2022-05-22 - 来自专栏深度学习
GPT预训练模型介绍
它用一套极其聪明又略显简单的“预训练+微调”组合拳，告诉全世界：原来语言模型，可以这么玩！ 今天，我们就来拆解一下这位“祖师爷”，看看它当年是怎么“炼”成的。 在预训练阶段，它装的是“文本预测头”，专心致志猜下一个词。到了微调阶段，就换成“任务分类头”，去解决具体的下游任务。这设计既专一又灵活。 三、预训练：真正的“大力出奇迹” ✨ 理论基础再好，也得有数据“喂养”。GPT-1的“食谱”是一个名为BooksCorpus的语料库，里面是7000多本风格各异的英文小说，总计约8亿个词。 这个过程的美妙之处在于：改动成本极低：预训练好的庞大模型参数几乎全部保留，只新增一个很小的分类层参数，训练起来又快又省资源。 五、总结与启示 回过头看，GPT-1的成功，不在于它有多复杂（其结构甚至比后来的模型更简洁），而在于它验证了一条清晰可行的技术路径️：“大规模无监督预训练 + 任务适配微调” 它证明了，通过海量数据、
26110编辑于 2026-02-04 - 来自专栏产品经理的人工智能学习库
预训练（Pre-train）
但是在标注数据很少的情况下，通过神经网络训练出的模型往往精度有限，“预训练”则能够很好地解决这个问题，并且对一词多义进行建模。 预训练是通过大量无标注的语言文本进行语言模型的训练，得到一套模型参数，利用这套参数对模型进行初始化，再根据具体任务在现有语言模型的基础上进行精调。 预训练的方法在自然语言处理的分类和标记任务中，都被证明拥有更好的效果。目前，热门的预训练方法主要有三个：ELMo，OpenAI GPT和BERT。 ELMo和OpenAI GPT这两种预训练语言表示方法都是使用单向的语言模型来学习语言表示，而Google在提出的BERT则实现了双向学习，并得到了更好的训练效果。 预训练 上面内容转载自公众号 微软研究院AI头条，原文地址 百度百科版本 无监督预训练是用来训练的数据不包含输出目标，需要学习算法自动学习到一些有价值的信息。 查看详情
1.7K10发布于 2019-12-18 - 来自专栏自然语言处理
Bert预训练新法则！
预训练“15%遮蔽率” 惯例是可以被打破的 “15%遮蔽率”，指在一项预训练任务中，随机遮住15%的单词，并通过训练让AI学会预测遮住的单词。 预训练需要超过15%的遮蔽率 为了了解在 MLM 中可以遮蔽多少以字符及遮蔽 率如何影响预训练模型的性能，本文预训练了一系列具有不同掩蔽率的模型，范围从 15% 到80%。 结果表明语言模型预训练不必使用小于 15% 的掩码率，而使用高效预训练侧率的大型模型的最佳掩码率高达 40%。 从那时起，在过往预训练模型研究中，80-10-10规则在几乎所有的MLM预训练工作中被广泛采用。 通过对语料库上的掩码采样，我们计算图6中的这个概率，发现当遮蔽率从15%提高到40%时，概率增加了8倍。
1.2K30编辑于 2022-03-11 - 来自专栏FreeBuf
AI领域的预训练与自训练
但谷歌最新的研究表明，在数据量足够的情况下，至少在目标检测任务上，采用自训练得到的预训练模型对检测结果的提升要显著优于监督预训练与无监督预训练模型。 01 使用监督学习获得预训练模型 作为实验，研究者首先在Imagenet上训练分类网络作为预训练模型，之后监督得到的预训练模型作为骨干网络在COCO数据集上进行训练。 不同数据增强模式下基线、监督式预训练、自训练式预训练下的目标检测结果对比 ? 不同数据增强模式下基线、监督式预训练、自训练式预训练下的目标检测结果对比 ? 统一实验条件下三种预监督方法对比 作为与监督预训练与无监督预训练的对比，对照实验表明使用自训练方法得到的预训练模型在各种数据增强模式，不同主任务训练集尺寸的情况下都能获得明显受益，且显著优于基线(不使用预训练模型 在语义分割方面，研究者也证明了自训练的预训练方式比监督式预训练可以达到更好的效果： ?
1.9K10发布于 2020-11-16 - 来自专栏机器之心
预、自训练之争：谷歌说预训练虽火，但在标注数据上自训练更有效
众所周知，预训练是计算机视觉领域的主导范式，研究人员也热衷于预训练。 但是，预训练真的有用吗？ ； 在预训练有用的情况下，自训练比预训练更有用。 如何对比预训练和自训练 方法和控制因子 这部分涉及数据增强、预训练和自训练三个方面。 1. 预训练 为了评估预训练的效果，研究者对不同质量的 ImageNet 预训练模型检查点进行了研究。 相比基于预训练模型进行微调，自训练需要更多算力。根据预训练模型的质量、数据增强的强度和数据集规模，预训练可实现 1.3 至 1.8 倍的加速。
1.1K10发布于 2020-06-17 - 来自专栏一点人工一点智能
视觉语言预训练综述
本文系统地梳理了当前视觉语言预训练模型相关的工作，首先介绍了预训练模型的相关知识，其次从两种不同的角度分析比较预训练模型结构，讨论了常用的视觉语言预训练技术，详细介绍了5类下游预训练任务，最后介绍了常用的图像和视频预训练任务的数据集 01 内容精选 本文将围绕视觉语言预训练模型展开介绍，并通过以下6个重要方面详细介绍和讨论视觉语言预训练模型的最新进展：首先介绍视觉语言预训练模型的相关知识，包括Transformer框架、模型预训练范式和视觉语言预训练模型常见网络结构 图1 视觉语言预训练综述结构框图 1.1 介绍 预训练范式包括：预训练-微调(pretrain fine-tuning)和预训练-提示(pretrain prompt)。 预训练-微调已经成了经典的预训练范式。其做法是：首先以监督或无监督的方式在大型数据集上预训练模型，然后通过微调将预训练的模型在较小的数据集上适应特定的下游任务。 其中图像文本预训练和视频文本预训练得到了最广泛的研究。图像-文本预训练模型汇总见表1。视频-文本预训练模型汇总见表2。
83030编辑于 2023-08-25 - 来自专栏机器学习初学者精选文章
【NLP】预训练模型综述
预训练模型综述 摘要：近年来，预训练模型的出现将自然语言处理带入了一个新的时代。本文概述了面向自然语言处理领域的预训练模型技术。我们首先概述了预训练模型及其发展历史。 并详细介绍自然语言处理领域的经典预训练模型，包括最经典的预训练模型技术和现在一系列新式的有启发意义的预训练模型。然后梳理了这些预训练模型在自然语言处理领域的优势和预训练模型的两种主流分类。 随后，Ramachandran et al.[7] 拓展了上述方法，提出了利用预训练的方法可以提高序列到序列（Sequence to sequence，Seq2Seq）模型 [8] 的准确性。 4 预训练语言模型小结 4.1 预训练模型的优点 上文介绍了深度学习时代的部分预训练模型，可以从它们中总结出预训练模型的优点： 在大型文本语料库上的预训练可以学习通用语言表示并帮助完成后续任务； 预训练提供了更好的模型初始化 V Le, “Unsupervised Pretraining for Sequence to Sequence Learning,” 2014. [8] I. Sutskever, O.
2.4K12发布于 2020-05-26 - 来自专栏NewBeeNLP
贫穷让我预训练
01 要不要预训练 预训练的效果是直接的，需要的资源常常令人望而却步。如果有这样一种预训练方法，它需要算力、数据、人工的资源很少，低到单人单卡原始语料就可以启动。 如果不预训练的话，也会为每个下游任务专门微调模型。预训练的预期收益是确定的。我们的语料库质量上很烂，但是数量足够。算力资源很有限，配合相应的人才储备可弥补。此时预训练的条件都已经具备。 所以我们探索预训练，希望能构建统一的预训练任务，让各个下游模型都受益。 02 如何预训练 这是我们的预训练模型架构，包括Transformer的编码器、解码器和向量表示头。 04 结语 本文提出了一种新的预训练范式，上述对照实验表明了，联合训练不会造成目标冲突。GUR模型在继续预训练时，可以在保持语言建模能力的基础上，增加向量表示的能力。一次预训练，到处零原样本推理。
49340编辑于 2023-08-29 - 来自专栏小七的各种胡思乱想
Bert不完全手册8. 预训练不要停！Continue Pretraining
，以及任务分布之间的差异，提出了DAPT领域适应预训练（domain-adaptive pretraining）和TAPT任务适应预训练（task-adaptive pretraining)两种继续预训练方案 4个 和预训练差异越大的领域，领域适应继续预训练的效果提升越显著 任务适应预训练轻量好使，效果也不差 领域预训练+任务预训练效果最好，不过成本较高 通过KNN扩展任务语料，能逼近领域预训练的效果 DAPT 我们预期DAPT的效果会和相似度相关，理论上在相似度低的领域，继续预训练应该带来更大的提升。 训练部分作者复用了Roberta的预训练方案。 每个领域都选择了相关性最低的另一个领域的继续预训练模型（¬DAPT），对比在下游微调中的效果，部分场景有提升部分有下降，但是都显著低于对应领域的继续预训练模型，从而进一步证明继续预训练的收益来自对应领域信息的补充 如果你有耐心>_<的话，KNN配合TAPT确实算是更优的方案，它的预训练成本显著低于DAPT，但又比TAPT的效果以及泛化性要显著更好 领域差异 说了半天继续预训练可以提高下游任务的效果，不过究竟继续预训练干了啥
68610编辑于 2022-09-29 - 来自专栏小七的各种胡思乱想
Bert不完全手册8. 预训练不要停！Continue Pretraining
，以及任务分布之间的差异，提出了DAPT领域适应预训练（domain-adaptive pretraining）和TAPT任务适应预训练（task-adaptive pretraining)两种继续预训练方案 4个和预训练差异越大的领域，领域适应继续预训练的效果提升越显著任务适应预训练轻量好使，效果也不差领域预训练+任务预训练效果最好，不过成本较高通过KNN扩展任务语料，能逼近领域预训练的效果图片DAPT首先作者通过每个领域内的 我们预期DAPT的效果会和相似度相关，理论上在相似度低的领域，继续预训练应该带来更大的提升。图片训练部分作者复用了Roberta的预训练方案。 ，每个领域都选择了相关性最低的另一个领域的继续预训练模型（¬DAPT），对比在下游微调中的效果，部分场景有提升部分有下降，但是都显著低于对应领域的继续预训练模型，从而进一步证明继续预训练的收益来自对应领域信息的补充 如果你有耐心>_<的话，KNN配合TAPT确实算是更优的方案，它的预训练成本显著低于DAPT，但又比TAPT的效果以及泛化性要显著更好图片领域差异说了半天继续预训练可以提高下游任务的效果，不过究竟继续预训练干了啥
1.8K41编辑于 2022-09-20 - 来自专栏机器学习AI算法工程
最强 NLP 预训练模型库 PyTorch-Transformers 正式开源：支持 6 个预训练框架，27 个预训练模型
PyTorch-Transformers（此前叫做pytorch-pretrained-bert）是面向自然语言处理，当前性能最高的预训练模型开源库。 该项目支持 BERT, GPT, GPT-2, Transfo-XL, XLNet, XLM 等，并包含 27 个预训练模型。 pytorch-transformers#quick-tour 官网： https://huggingface.co/pytorch-transformers/index.html 该开源库现在包含了 PyTorch 实现、预训练模型权重 27个预训练模型 项目中提供了27个预训练模型，下面是这些模型的完整列表，以及每个模型的简短介绍。 注意，这里要使用分布式训练和16- bits 训练，你需要安装NVIDIA的apex扩展。
1.5K20发布于 2019-10-28 - 来自专栏AI算法能力提高班
CLIP-图文预训练模型
-- paper https://arxiv.org/abs/2103.00020 code https://github.com/openai/CLIP ---- Abstract 连接文本和图像的预训练模型 训练数据是网络社交媒体上搜集的图像文本对。 在训练阶段，对于一个batch 的数据，首先通过文本编码器和图像编码器，得到文本和图像的特征，接着将所有的文本和图像特征分别计算内积，就能得到一个矩阵，然后从图像的角度看，行方向就是一个分类器，从文本角度看 第一种，利用文本prompt进行预测，将预测的embedding同类别的embedding进行相似度匹配，实现分类任务；在测试阶段，可以直接将训练好的CLIP用于其他数据集而不需要finetune。 在训练集中基本不会出现的比较novel的任务，表现欠佳，比如classifying the distance to the nearest car in a photo； 训练集中没有出现的图片类型（out-of-distribution
1.1K30编辑于 2023-09-13
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号