- 综合排序
- 最热优先
- 最新优先
- 来自专栏DrugOne
DialoGPT：大规模预训练的对话响应模型
1 介绍 最近，利用基于transformer架构进行大规模预训练的模型都取得了很大的成功。 例如，OpenAI的GPT-2证明了在大规模数据集训练的transformer模型可以捕捉文本数据中的长期依赖关系，并且可以生成流畅、词汇多样、内容丰富的文本。 作者将预训练好的模型在公开的基准数据集DSTC-7上进行了评估，又从Reddit提取了新的6000+条作为参考测试数据。 作者分别在从头训练的模型和GPT-2预训练并微调好的模型上进行测试。 表2：6k多引用Reddit评估 ? 使用这个模型产生的回复可能会表现出一种表达对不道德的、有偏见的或冒犯性的主张的赞同的倾向。 6 总结 本文基于Reddit数据集，拓展GTP-2训练了一个预训练模型DialoGPT。
3.3K40发布于 2021-02-01 - 来自专栏全栈程序员必看
预训练模型还要训练吗_多模态预训练模型
若使用已保存好的镜像reid_mgn:v1，在本机上可按如下操作训练 # 1.进入已保存环境的镜像（reid_mgn:v1（8.48G）、pytorch/pytorch:1.0.1-cuda10.0 personReID ufoym/deepo:testv1 /bin/bash (75服务器) # 2.进入到工程目录 cd /home/personReID/MGN-pytorch-master # 3.复制预训练模型到指定路径 打开另一个终端 docker ps 查看容器内镜像（找到reid_mgn:v1 前对应的数字字符串%%%%） docker stats %%%%% 实时监测内存情况 # 4.训练 （在原终端继续进行，注：demo.sh是已改好参数的） sh demo1.sh 补充： 训练前需要修改的文件及代码 1.demo.sh文件 修改data路径（把你的数据集路径添加到 –datadir）、 ：需将数据集文件名由原始的Market-1501-****改为和代码匹配的Market1501 2.trainer.py 修改train、test中的epoch 3.main.py 如果是单GPU训练
95420编辑于 2022-11-08 - 来自专栏磐创AI技术团队的专栏
transformer预训练模型
磐创AI分享 来源 | Github 作者 | huggingace 编译 | VK 【导读】这里的预训练模型是当前提供的预训练模型的完整列表，以及每个模型的简短介绍。 该模型是日语模型。在日语上字符级的训练。 该模型是日语模型。使用Whole-Word-Masking在日语上字符级的训练。 XLM的英语-罗马尼亚多语言模型 xlm-mlm-xnli15-1024 12个层，1024个隐藏节点，8个heads。用MLM进行15种XNLI语言的预训练的XLM的模型。 用MLM+TLM进行15种XNLI语言的预训练的XLM的模型。 xlm-clm-enfr-1024 6个层，1024个隐藏节点，8个heads。
5K30发布于 2020-03-31 - 来自专栏xiaosen
预训练模型介绍
，其核心在于利用大规模的文本数据进行预训练，从而能够生成连贯且符合语法规则的自然语言文本。 PyTorch：是一个动态图型的深度学习框架，提供了丰富的工具和API来构建、训练神经网络模型。它以其易用性、灵活性以及良好的社区支持而受到研究者和开发者的青睐。 GPT模型的训练过程包括两个主要阶段：预训练和微调。在预训练阶段，模型通过学习大量文本资料来把握语言的基本规律和模式；在微调阶段，模型则通过特定任务的训练数据进行精细调整，以适应具体的应用场景。 人工智能的目标是使计算机能够像人一样思考、理解和适应环境，从而能够执行各种任务，从简单的自动化到复杂的认知任务 六、神经网络语言模型 我们知道的N-gram语言模型是基于统计的语言模型，是一种离散型的语言模型 所以人们开始尝试使用神经网络来建立语言模型。 关于神经网络的介绍：神经网络的激活函数-CSDN博客
60011编辑于 2024-05-03 - 来自专栏AI科技大本营的专栏
让预训练语言模型读懂数字：超对称技术发布 10 亿参数 BigBang Transformer 金融大规模预训练语言模型
目录 1.通用大模型的缺陷 2.专注于融合训练时序-文本跨模态的预训练模型算法架构 3.学术和工业界覆盖最完整，规模最大的金融投资类数据集 4.创新的预训练方法可大幅提高语言模型准确度：Similarity 超对称公司针对金融投资领域的应用设计和训练了一个大规模参数预训练语言模型Big Bang Transformer乾元(BBT)，目前发布了Base 版本2.2亿参数和Large 版本 10亿参数。 为此超对称团队设计了基Transformer的时序-文本跨模态预训练模型，这是业内最早的专注于联合训练时序-文本二模态的预训练算法架构之一。 3、学术和工业界覆盖最完整，规模最大的金融投资类数据集 语料库的质量、数量和多样性直接影响语言模型预训练的效果，现有的中文金融预训练语言模型，例如FinBERT与英伟达发布的FinMegatron，其预训练语料在数量和多样性上十分有限 在统一架构的基础上训练大规模参数预训练模型，随着模型参数和训练数据集继续增大，超对称团队有希望开发出在金融领域接近人类智能水平的模型。
1.2K40编辑于 2022-09-04 - 来自专栏CVer
MICCAI 2020 | 腾讯开源大规模X光预训练模型及代码
本文转载自：Deep Learning Engine 论文导读 “ 预训练模型能够加速任务模型收敛速度和提升模型性能。自然场景图像有ImageNet预训练模型，但此类数据和医学图像差异较大。 因此腾讯提出了一个基于70万X光数据进行训练的模型，以作为该领域的预训练模型。模型及训练代码已开源！” 医学任务模型用ImageNet预训练模型就不太合适。因此，作者提出了一种新型的预训练方法（C2L），利用该方法在70万X光无标注数据上进行训练。 ImageNet预训练模型通过迁移学习应用到2D医学图像分析中已被证实是有效的。大量的实验证明，预训练模型与从头开始训练相比，模型能够快速收敛并且能获得更好的准确率。 此方法可以在实际工作中，结合任务需求及数据集大小，参照该方法训练自己的预训练模型；4、开源70万量级的X光预训练模型和训练代码是真的香；5、数据决定了算法模型的上限！
1.5K20发布于 2020-11-03 - 来自专栏深度学习自然语言处理
【预训练模型】预训练语言模型的前世今生之风起云涌
在专题上一期推送【萌芽时代】里，我们介绍了预训练语言模型思想的萌芽。今天我们推出的这篇推送， 将继续为大家介绍预训练语言模型是如何进一步发展和演进的。 从2016年后，大多数研究都开始重视长时的上下文语义在embeddings中所起作用和语言模型在大规模语料上提前预训练这两个核心观点。 证明了预训练的过程直接提高了seq2seq模型的泛化能力，再次提出了预训练的重要性和通用性。 同时文中通过做对比实验确认了，对机器翻译来说，模型对泛化能力的主要提升就来自于预训练的参数特征，而对摘要提取，encoder的预训练为模型效果的巨大提升和泛化能力的提高做出了贡献。 图2为预训练seq2seq模型的结构，红色为encoder部分，蓝色为decoder部分，所有方框内参数均为语言模型预训练的，而方框外的参数为随机初始化。
1.8K20发布于 2020-03-05 - 来自专栏深度学习
GPT预训练模型介绍
它用一套极其聪明又略显简单的“预训练+微调”组合拳，告诉全世界：原来语言模型，可以这么玩！ 今天，我们就来拆解一下这位“祖师爷”，看看它当年是怎么“炼”成的。 在预训练阶段，它装的是“文本预测头”，专心致志猜下一个词。到了微调阶段，就换成“任务分类头”，去解决具体的下游任务。这设计既专一又灵活。 三、预训练：真正的“大力出奇迹” ✨ 理论基础再好，也得有数据“喂养”。GPT-1的“食谱”是一个名为BooksCorpus的语料库，里面是7000多本风格各异的英文小说，总计约8亿个词。 这个过程的美妙之处在于：改动成本极低：预训练好的庞大模型参数几乎全部保留，只新增一个很小的分类层参数，训练起来又快又省资源。 五、总结与启示 回过头看，GPT-1的成功，不在于它有多复杂（其结构甚至比后来的模型更简洁），而在于它验证了一条清晰可行的技术路径️：“大规模无监督预训练 + 任务适配微调” 它证明了，通过海量数据、
26110编辑于 2026-02-04 - 来自专栏AI小白入门
【NLP】T5 模型：Text-to-Text 预训练模型超大规模探索
之后未来做 NLP 实验时，可能就不再是自己怎么调一些模型了，而是无论什么任务，直接拿来一个超大预训练模型，然后主要工作就变成了怎么把任务转换成合适的文本输入输出，于是我们就成了带引号的”数据科学家“。 Transfer 来自 Transfer Learning，预训练模型大体在这范畴，Transformer 也不必多说，那么 Text-to-Text 是什么呢。 Architecture：The Best One 首先作者们先对预训练模型中的多种模型架构（Transformer）进行了比对，最主要的模型架构可以分成下面三种。 ? 到此基本上 T5 预训练就大致说完了，之后是些细碎探索。 Datasets 接着作者们拿着 C4 数据集做了各种实验，比如说从里面分出各种类型的数据集，单独训练 T5 模型，之后看在下游任务的表现，发现一些情况领域内的预训练数据可以增强下游任务（想当然的）。
1.1K40发布于 2019-12-09 - 来自专栏机器学习初学者精选文章
【NLP】预训练模型综述
并详细介绍自然语言处理领域的经典预训练模型，包括最经典的预训练模型技术和现在一系列新式的有启发意义的预训练模型。然后梳理了这些预训练模型在自然语言处理领域的优势和预训练模型的两种主流分类。 语言模型的预料的标签就是它的上下文[3]，这就决定了人们几乎可以无限制地利用大规模的语料来训练语言模型，这些大规模的预料，使 PTMs 得以获得了强大的能力，进一步在下游相关任务上展现了其出色的效果。 从 2016 年开始，大多数的研究都开始重视长时的上下文语义在词嵌入中的作用和语言模型在大规模语料上提前预训练这两个核心观点。 ELMo 从大规模的无监督的语料中，预训练一个双向的 LSTM 语言模型，它分为两个阶段，第一个阶段在大规模语料库上利用语言模型进行预训练，第二个阶段是在做下游任务时，从预训练网络中提取对应单词的网络各层的词嵌入作为新特征补充到下游任务中 3.2 GPT模型 ELMo 使业界意识到了基于大规模预料集预训练的语言模型的威力，与此同时，Transformer 的提出被发现在处理长期依赖性任务方面比 LSTM 有更好的表现，它在机器翻译等任务上取得的成果也被认为是
2.4K12发布于 2020-05-26 - 来自专栏AI研习社
T5 模型：NLP Text-to-Text 预训练模型超大规模探索
之后未来做 NLP 实验时，可能就不再是自己怎么调一些模型了，而是无论什么任务，直接拿来一个超大预训练模型，然后主要工作就变成了怎么把任务转换成合适的文本输入输出，于是我们就成了带引号的”数据科学家“。 Transfer 来自 Transfer Learning，预训练模型大体在这范畴，Transformer 也不必多说，那么 Text-to-Text 是什么呢。 Architecture：The Best One 首先作者们先对预训练模型中的多种模型架构（Transformer）进行了比对，最主要的模型架构可以分成下面三种。 ? 到此基本上 T5 预训练就大致说完了，之后是些细碎探索。 Datasets 接着作者们拿着 C4 数据集做了各种实验，比如说从里面分出各种类型的数据集，单独训练 T5 模型，之后看在下游任务的表现，发现一些情况领域内的预训练数据可以增强下游任务（想当然的）。
2.3K31发布于 2019-11-06 - 来自专栏机器之心
26亿参数，智源、清华开源中文大规模预训练模型
机器之心报道 机器之心编辑部 近日，北京智源人工智能研究院和清华大学研究团队联合发布了以中文为核心的大规模预训练语言模型 CPM-LM，参数规模达 26 亿，预训练中文数据规模 100 GB。 近日，北京智源人工智能研究院和清华大学研究团队合作开展了一项名为「清源 CPM (Chinese Pretrained Models)」的大规模预训练模型开源计划，旨在构建以中文为核心的大规模预训练模型 首期开源内容包括预训练中文语言模型和预训练知识表示模型，可广泛应用于中文自然语言理解、生成任务以及知识计算应用，所有模型免费向学术界和产业界开放下载，供研究使用。 ，该计划发布的预训练模型具备以下特点： 模型规模大：本次发布的 CPM-LM 参数规模达 26 亿，预训练中文数据规模 100 GB，使用了 64 块 V100 GPU，训练时间约为 3 周；CPM-KG 据了解，清源 CPM 未来计划开源发布更大规模的预训练中文语言模型、以中文为核心的多语言预训练模型、融合大规模知识的预训练语言模型等。
1.1K30发布于 2020-11-20 - 来自专栏NewBeeNLP
不如试试这种大规模预训练模型新范式
第一阶段仍然是大规模的预训练（pre-trianing），获得一个general model；第二阶段变成特定领域/任务的预训练（post-training），在general model的基础上，利用领域数据再做一次同样的训练 目前也有不少这样的研究，下面来看两篇论文~ Do not stop pretraing 这篇ACL2020的论文更像是一份实验报告，探究了我们上面提及的第三种方案的可行性，即将预训练的模型「重新预训练」 这说明文章开篇所提的第三种方案是可行的，针对特定领域的语料继续对预训练模型进行训练可以带来明显的好处。 Train No Evil 来自清华刘知远老师组的EMNLP2020工作，同样探究了目前NLP预训练模型的新范式。 同样是三阶段： 「通用预训练（GenePT）」：即传统的第一阶段，大规模无监督通用泛化数据 + 随机MASK预训练，数据集 大约包括「1000M」单词 「任务主导预训练（TaskPT）」：这一阶段的目的是加入任务和领域相关信息
1.9K40发布于 2020-12-08 - 来自专栏相约机器人
26亿参数，智源、清华开源中文大规模预训练模型
机器之心报道 机器之心编辑部 近日，北京智源人工智能研究院和清华大学研究团队联合发布了以中文为核心的大规模预训练语言模型 CPM-LM，参数规模达 26 亿，预训练中文数据规模 100 GB。 近日，北京智源人工智能研究院和清华大学研究团队合作开展了一项名为「清源 CPM (Chinese Pretrained Models)」的大规模预训练模型开源计划，旨在构建以中文为核心的大规模预训练模型 首期开源内容包括预训练中文语言模型和预训练知识表示模型，可广泛应用于中文自然语言理解、生成任务以及知识计算应用，所有模型免费向学术界和产业界开放下载，供研究使用。 ，该计划发布的预训练模型具备以下特点： 模型规模大：本次发布的 CPM-LM 参数规模达 26 亿，预训练中文数据规模 100 GB，使用了 64 块 V100 GPU，训练时间约为 3 周；CPM-KG 据了解，清源 CPM 未来计划开源发布更大规模的预训练中文语言模型、以中文为核心的多语言预训练模型、融合大规模知识的预训练语言模型等。
1K20发布于 2020-11-20 - 来自专栏AI算法能力提高班
CLIP-图文预训练模型
-- paper https://arxiv.org/abs/2103.00020 code https://github.com/openai/CLIP ---- Abstract 连接文本和图像的预训练模型 ConVIRT Contrastive learning Methodology Overview image-20230810140327295 (1) Contrastive pre-training 模型架构分为两部分 训练数据是网络社交媒体上搜集的图像文本对。 前面实验分析发现，模型不能很好的区分cars，species of flowers, 以及variants of aircraft；b. abstract和systematic任务表现不好，比如统计图上 在训练集中基本不会出现的比较novel的任务，表现欠佳，比如classifying the distance to the nearest car in a photo； 训练集中没有出现的图片类型（out-of-distribution
1.1K30编辑于 2023-09-13 - 来自专栏算法一只狗
ACL2021：预训练模型
On the Monolingual Performance of Multilingual Language Models 本文主要针对在预训练模型中，单语言（monolingual）模型与多语言（Multilingual 目前多语言预训练模型，例如mBert，XLM-R，mT5等，可以涵盖100多种不同的语言。但是在以前的证据中，单语言模型在下游任务上会比多语言模型要好，因此本文主要是探讨这个假设是否成立。 但是现有的预训练模型，往往会存在模型尺寸大、参数大等问题，从而限制了此类模型在实际中的部署。 因此可以利用这种规律，根据不同的异常检测任务，从而定义预训练模型的层数。 举个例子： 左图eating是形态异常、右图laughed是语义异常。 因此文本主要是在预训练的模型中，观察不同压缩比的情况下子网络的表现。从实验中观察到，随着压缩比的增加，“中奖彩票”的泛化性能先提高，然后在一定阈值后恶化。
39220编辑于 2022-11-04 - 来自专栏DrugOne
AntiBERTy-抗体预训练模型
前几天，在NeurIPS 2021上，RosettaCommons的Gray Lab团队展示了抗体预训练模型AntiBERTy，相对于AntiBERTa的参数量增加了10倍，并展示了如何用于分析抗体在体内的亲和成熟轨迹以及抗体 以OAS数据库中约5.58亿条(95% training，5% testing)的自然抗体序列作为训练集，采用Mask Language Model的方式进行训练。共计训练8个epochs。 每个bag从中随机采样64条序列来产生阳性样本或负样本的训练数据集。 （由于预印版本中的QKV维度有误，笔者将推理过程附着于上图） 三、应用效果 训练好模型之后，作者尝试将AntiBERTy用于两个场景： 分析免疫组库进化路线：使用AntiBERTy对4组产生了VRC01 AntiBERTy提供了较为先进的预训练模型，结合fintuning应用到更多的针对抗体优化的任务。 No Code or Model Released。
1.1K20编辑于 2021-12-29 - 来自专栏Soul Joy Hub
预训练语言模型合辑~
ERNIE 1.0 实体级别连续MASK 针对有两个及两个以上连续字组成的词，随机mask字割裂了连续字之间的相关性，使模型不太容易学习到词的语义信息。 这三个数据集的侧重点不同，对模型应该也有较好的提升。对语料的处理加入了中文繁体–>简体，英文大写–>小写，词表大小为17964。 随机替换R，然后让模型判断这个多轮对话是真的还是假的。 RoBerta 与bert区别 更大的训练集，更大的 batch。 不需要使用 NSP Loss。 使用更长的训练 Sequence。 从实践角度来讲，NLP任务中的vocab size本来就很大，如果E=H的话，模型参数量就容易很大，而且embedding在实际的训练中更新地也比较稀疏。 原始BERT模型使用[MASK] token进行掩蔽，但是[MASK] token在微调阶段从未出现，这会造成预训练任务与下游微调任务不一致；因此 MacBERT 使用类似的单词来掩蔽需要被掩蔽的单词。
87020编辑于 2022-05-10 - 来自专栏ATYUN订阅号
慎用预训练深度学习模型
预训练的模型很容易使用，但是您是否忽略了可能影响模型性能的细节? 利用预训练模型的一种常见技术是特征提取，在此过程中检索由预训练模型生成的中间表示，并将这些表示用作新模型的输入。通常假定这些最终完全连接层捕获与解决新任务相关的信息。 那么，当你利用这些预训练模型时，需要注意什么呢? 使用预训练模型的注意事项： 1.你的任务相似吗?您的数据有多相似? 看看这些有用的基准参考资料，了解这些不同的预训练模型运行时间。 在实践中，您应该保持预训练的参数不变(即使用预训练模型作为特征提取器)，或者对它们进行微微调整，以避免在原始模型中忘记所有内容。
2.1K30发布于 2019-05-14 - 来自专栏新智元
PromptCLUE：大规模多任务Prompt预训练中文开源模型
千亿中文token上大规模预训练，亿级中文任务数据上完成训练，训练任务超过150+。 比base版平均任务提升7个点+；具有更好的理解、生成和抽取能力，并且支持文本改写、纠错、知识图谱问答。 promptCLUE实现了中文上的三大统一：统一模型框架，统一任务形式，统一应用方式。 统一模型框架：采用Text-to-Text的生成式预训练模型进行统一建模。 (T0） 大规模预训练：在t5-large版基础上，使用数百G中文语料，训练了100万步，累计训练了1.5万亿个中文字词级别token 大规模任务数据：使用了16种任务类型，数百种任务，累积亿级别任务数据 混合预训练：一方面将下游任务作为预训练语料，另一方面将下游任务和预训练语料一起训练，减少任务灾难遗忘以及缩短预训练和下游任务的距离，更好的适应下游任务（ExT5） 混合采样：针对众多数据量差异极大的任务 ,Data_target预训练数据语料，是加入到预训练中，分别增强模型的encoder理解能力和 decoder的生成能力（见UIE） 重新构建模型中文字典：使用sentencepiece上在千亿token
1.7K20编辑于 2023-01-07
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号