- 综合排序
- 最热优先
- 最新优先
- 来自专栏杨熹的专栏
5 分钟入门 Google 最强NLP模型：BERT
11 个 NLP 任务上的表现刷新了记录，包括问答 Question Answering (SQuAD v1.1)，推理 Natural Language Inference (MNLI) 等： GLUE 实验的结果表明，双向训练的语言模型对语境的理解会比单向的语言模型更深刻， 论文中介绍了一种新技术叫做 Masked LM（MLM），在这个技术出现之前是无法进行双向语言模型训练的。 BERT 可以用于各种NLP任务，只需在核心模型中添加一个层，例如： 在分类任务中，例如情感分析等，只需要在 Transformer 的输出之上加一个分类层 在问答任务（例如SQUAD v1.1）中，问答系统需要接收有关文本序列的 pdf/1810.04805.pdf https://www.lyrn.ai/2018/11/07/explained-bert-state-of-the-art-language-model-for-nlp / https://medium.com/syncedreview/best-nlp-model-ever-google-bert-sets-new-standards-in-11-language-tasks
2.3K30发布于 2018-12-14 - 来自专栏ShowMeAI研究中心
NLP教程(5) - 语言模型、RNN、GRU与LSTM
首先介绍了语言模型及其应用场景，进而介绍循环神经网络RNN及优化后的变种LSTM和GRU模型。 下面的两个公式展示了 bi-gram 模型和 tri-gram 模型的区别。 增加 n 会让稀疏问题更加严重，所以一般 n \leq 5。 2) n-gram语言模型的存储问题 我们知道需要存储在语料库中看到的所有 n-gram 的统计数。 最后计算词表中的 softmax 计算结果展示了基于前面所有的单词对输出单词 x^{(5)} 的不同选择的概率分布。这时的输入可以比4到5个单词更长。 扩展 5：给定一个德语词序列A B C，它的英语翻译是X Y。在训练RNN时不使用A B C \to X Y，而是使用C B A \to X Y。这么处理的原因是A更有可能被翻译成X。
1K21编辑于 2022-05-08 NLP模型基础（一）
自然语言处理致力于理解和生成自然语言，其中的词表示和语言模型是构建NLP的两大基础。本文系统介绍词表示方法（从离散符号到分布式向量）和语言模型（从统计方法到神经网络），为后续NLP模型打下基础。 这里先讲解一部分NLP模型基础，还有一部分会留到后两期，当然你也可以直接搜索关键字定位到你想要搜索的部分。本篇文章的篇幅可能会有点长，可以先点赞收藏，方便下次阅读。
34220编辑于 2025-07-04- 来自专栏人工智能头条
cuDNN 5对RNN模型的性能优化
网络模型C：RNN维度256，输入维度256，1层，批大小为32，序列长度1000。 cuDNN 5的新特性之一就是它可以支持递归神经网络（Recurrent Neural Networks）。 我对cuDNN 5支持RNN的能力感到非常激动；我们投入了大量的精力来优化它们在NVIDIA GPU上的性能，我在本文中将会介绍这些优化的一部分细节。 在这类，我将以LSTM网络的性能为例，但大多数的优化可以用在任意RNN模型。 第一步：优化单次迭代 下列方程组表示了数据如何在LSTM单元正向传播。图2展示了LSTM单元的示意图。 ? ? 我的对照LSTM模型有512个隐藏单元，每批次的样本数为64.对照组的性能很一般，在M40上只达到了大约350 GFLOPs。这个GPU的峰值性能是6000 GFLOPs，因此还有很大的优化空间。 在cuDNN，我们将这些优化用在四种常见的RNN模型。因此如果你正在序列学习中用到这些RNN模型，我强烈推荐你使用cuDNN 5。 ----
2.6K50发布于 2018-06-06 - 来自专栏DeepHub IMBA
5分钟 NLP系列—— 11 个词嵌入模型总结
在过去的十年中，已经提出了很多种词嵌入方法，本片文章将对这些词嵌入的模型做一个完整的总结 与上下文无关 这类模型学习到的表征的特点是，在不考虑单词上下文的情况下，每个单词都是独特的和不同的。 Word2vec 可以利用两种模型架构中的任何一种：连续词袋 (CBOW) 或连续skip-gram。在 CBOW 架构中，模型从周围上下文词的窗口中预测当前词。 在连续skip-gram架构中，模型使用当前词来预测上下文的周围窗口。 并使用掩码语言模型来预测序列中随机被遮蔽的单词，还通过下一句预测任务，用于学习句子之间的关联。 XLM（Cross-lingual Language Model）：一种基于单语言语种的非监督方法来学习跨语种表示的跨语言模型，通过将不同语言放在一起采用新的训练目标进行训练，从而让模型能够掌握更多的跨语言信息
1.6K20编辑于 2022-03-12 - 来自专栏数据派THU
5分钟 NLP系列—— 11 个词嵌入模型总结
来源：DeepHub IMBA本文约1000字，建议阅读5分钟本片文章将对词嵌入的模型做一个完整的总结。 在过去的十年中，已经提出了很多种词嵌入方法，本片文章将对这些词嵌入的模型做一个完整的总结。 Word2vec 可以利用两种模型架构中的任何一种：连续词袋 (CBOW) 或连续skip-gram。在 CBOW 架构中，模型从周围上下文词的窗口中预测当前词。 在连续skip-gram架构中，模型使用当前词来预测上下文的周围窗口。 XLM（Cross-lingual Language Model）：一种基于单语言语种的非监督方法来学习跨语种表示的跨语言模型，通过将不同语言放在一起采用新的训练目标进行训练，从而让模型能够掌握更多的跨语言信息
1.4K20编辑于 2022-03-04 - 来自专栏AI研习社
T5 模型：NLP Text-to-Text 预训练模型超大规模探索
相信大多 NLP 相关者，在时隔 BERT 发布近一年的现在，又被谷歌刚发布的 T5 模型震撼到了。又是一轮屠榜，压过前不久才上榜自家的ALBERT，登上 GLUE 榜首。 之后未来做 NLP 实验时，可能就不再是自己怎么调一些模型了，而是无论什么任务，直接拿来一个超大预训练模型，然后主要工作就变成了怎么把任务转换成合适的文本输入输出，于是我们就成了带引号的”数据科学家“。 通过这样的方式就能将 NLP 任务都转换成 Text-to-Text 形式，也就可以用同样的模型，同样的损失函数，同样的训练过程，同样的解码过程来完成所有 NLP 任务。 于是乎，就把它定为 T5 模型，因此所谓的 T5 模型其实就是个 Transformer 的 Encoder-Decoder 模型。 终于获得了完整的 T5 模型，还有它的训练方法。
2.3K31发布于 2019-11-06 - 来自专栏AI小白入门
【NLP】T5 模型：Text-to-Text 预训练模型超大规模探索
相信大多 NLP 相关者，在时隔 BERT 发布近一年的现在，又被谷歌刚发布的 T5 模型震撼到了。又是一轮屠榜，压过前不久才上榜自家的ALBERT，登上 GLUE 榜首。 之后未来做 NLP 实验时，可能就不再是自己怎么调一些模型了，而是无论什么任务，直接拿来一个超大预训练模型，然后主要工作就变成了怎么把任务转换成合适的文本输入输出，于是我们就成了带引号的”数据科学家“。 通过这样的方式就能将 NLP 任务都转换成 Text-to-Text 形式，也就可以用同样的模型，同样的损失函数，同样的训练过程，同样的解码过程来完成所有 NLP 任务。 于是乎，就把它定为 T5 模型，因此所谓的 T5 模型其实就是个 Transformer 的 Encoder-Decoder 模型。 终于获得了完整的 T5 模型，还有它的训练方法。
1.1K40发布于 2019-12-09 - 来自专栏有三AI
【NLP】ALBERT：更轻更快的NLP预训练模型
目前在NLP领域，出彩的预训练模型的新工作，几乎都是基于BERT的改进，前面我们就介绍了XLNET。今天我来介绍一个更新的工作，相比于BERT，它更轻量，效果也要好。 作者&编辑 | 小Dream哥 1 预训练模型进展 2018年底，BERT横空出世之后，预训练模型开始走进NLP舞台的中央，吸引了业内所有人的关注。 之后，各种预训练模型开始不断的刷新NLP领域的SOTA榜单，比较有影响力的包括，GPT-2.0，XLNET，RoBERTa等。 大体来说，上述预训练模型确实都基于BERT了做了一些改进，在模型结构、训练模式等方面都有一些创新。但是大部分的预训练模型也有一个共通的“特点”，即模型相对“笨重”，预训练成本高。 这是NLP领域第一次发现dropout对大规模的预训练模型会造成负面影响。 此外，ALBERT还有一个albert_tiny模型，其隐藏层仅有4层，模型参数量约为1.8M，非常的轻便。
1.5K10发布于 2019-11-06 - 来自专栏全栈程序员必看
python分类模型_nlp模型评估指标
如果我们希望捕获少数类，模型就会失败。 其次，模型评估指标会失去意义。 但这些采样方法会增加样本的总数，对于决策树这个样本总是对计算速度影响巨大的算法来说，我们完全不想轻易地增加样本数量，所以我们要寻求另一条路：改进我们的模型评估指标，使用更加针对于少数类的指标来优化模型。 如果样本是加权的，则使用基于权重的预修剪标准来更容易优化树结构，这确保叶节点至少包含样本权重的总和的一小部分。 2 混淆矩阵 从上面内容可以看出，如果我们的目标是希望尽量捕获少数类，那准确率这个模型评估逐渐失效，所以我们需要新的模型评估指标来帮助我们。 如果一个模型在能够尽量捕获少数类的情况下，还能够尽量对多数类判断正确，则这个模型就非常优秀了。为了评估这样的能力，我们将引入新的模型评估指标：混淆矩阵来帮助我们。
1.1K10编辑于 2022-11-08 - 来自专栏AI小白入门
【NLP】加速BERT：从架构优化、模型压缩到模型蒸馏最新进展详解
Camel 编辑 | 唐里 原文标题：Speeding up BERT 原文链接：https://blog.inten.to/speeding-up-bert-5528e18bb4ea BERT 在 NLP 目前，BERT 已经成为 NLP 深度学习管道中的重要组成部分。 但 BERT 并不是完美无瑕的，它最大的问题就是：太大。 对以上的问题，能够想到的最直接的方法就是优化神经网络。这在神经网络中并不陌生，其他领域（例如计算机视觉）以前也有相同的问题，并且已经开发了几种压缩和加速神经网络模型的方法。 当然也可以采用其他优化，例如从学习率和策略、预热步数，较大的批处理大小等； 模型压缩：通常使用量化和修剪来完成，从而能够在架构不变（或者大部分架构不变）的情况下减少计算总量； 模型蒸馏：训练一个较小的模型 有一种基于对自注意层行为的观察来训练 BERT 的渐进式堆叠方法 [5]，该方法的分布局部地集中在其位置和 start-of-sentence token 周围，且在浅层模型中的注意力分布与深层模型相似
1.3K20发布于 2019-11-14 - 来自专栏新智元
NLP模型读不懂人话？微软AdaTest挑错效率高5倍
---- 新智元报道 编辑：袁榭 David 【新智元导读】2022年5月底，微软的AI研发人员在预印本网站发表论文，提出了调试NLP模型的全新路径AdaTest。 这些失败之所以继续存在，部分原因是寻找和修复NLP模型中的错误很难，以至于严重的错误影响了几乎所有主要的开源和商业NLP模型。 目前寻找和修复NLP模型错误的方法有两种：或是用户驱动的，或是自动的。 用户驱动的方法很灵活，可以测试NLP模型行为的任何方面。 因为这些测试实际上是一种标记数据的形式，它们不仅可以识别NLP模型的错误，而且可以用来在类似于传统软件开发的迭代调试循环中，修复NLP模型的错误。 NLP模型的文本公平性失误，即是在一段文本中对特定属性群体的中性描述，可能导致NLP模型的文本情感分析功能出错，错误地降低文本的情感权重。也就是说，模型可能会更负面地对待特定群体的描述。
64930编辑于 2022-05-31 - 来自专栏数据派THU
NLP模型读不懂人话？微软AdaTest挑错效率高5倍
来源：新智元本文约3500字，建议阅读10+分钟2022年5月底，微软的AI研发人员在预印本网站发表论文，提出了调试NLP模型的全新路径AdaTest。 这些失败之所以继续存在，部分原因是寻找和修复NLP模型中的错误很难，以至于严重的错误影响了几乎所有主要的开源和商业NLP模型。 目前寻找和修复NLP模型错误的方法有两种：或是用户驱动的，或是自动的。 用户驱动的方法很灵活，可以测试NLP模型行为的任何方面。 因为这些测试实际上是一种标记数据的形式，它们不仅可以识别NLP模型的错误，而且可以用来在类似于传统软件开发的迭代调试循环中，修复NLP模型的错误。 NLP模型的文本公平性失误，即是在一段文本中对特定属性群体的中性描述，可能导致NLP模型的文本情感分析功能出错，错误地降低文本的情感权重。也就是说，模型可能会更负面地对待特定群体的描述。
45220编辑于 2022-06-13 - 来自专栏机器学习养成记
NLP基础：NNLM模型介绍
导读：在NLP中，语言模型用来判断一句话是否是正常人说的，广泛应用于信息检索、机器翻译、语音识别等重要任务中。 传统的语言模型主要基于统计方法（如：NLP基础：N-Gram模型），虽然可解释性强、易于理解，但存在泛化能力差等问题。随着深度学习技术的发展，相关技术也应用到语言模型中，如NNLM模型。 5. 模型输出：输出层结果经过softmax，得到归一化后的概率结果。 2 模型训练目标及参数 模型参数： 一般来讲，神经网络的输入不需要训练，但是在NNLM模型中，神经网络的输入是词向量x，也是需要训练的参数。 __biz=MzI2MDU3OTgyOQ==&mid=2247491908&idx=1&sn=5d056222580e9a365f87bb697f73c550&chksm=ea6529dedd12a0c8d4ced252c3f5bbfd90a82428aee2a5103fb0a136e729af459f4638aee761&
1.6K30编辑于 2022-08-31 - 来自专栏我的充电站
NLP笔记：fastText模型考察
1. fastText模型原理 fastText大约是NLP文本分类任务中最简单最直观的模型架构之一了，其原始文献详见参考链接2，facebook也提供了相应的开源工具，可以相当便利地用来训练一些nlp 0.25 0.27 0.26 2635 4 0.22 0.21 0.22 2307 5 0.00 0.00 0.00 2635 4 0.00 0.00 0.00 2307 5 5. https://github.com/facebookresearch/fastText https://arxiv.org/abs/1607.01759 fastText原理和文本分类实战，看这一篇就够了 NLP
1.1K30发布于 2021-03-26 - 来自专栏机器学习初学者精选文章
【NLP】预训练模型综述
第 2 节按时间顺序简要概述了预训练语言模型的整个发展历史；第 3 节详细介绍自然语言处理领域的经典预训练模型；第 4 节小结了预训练模型的优点和其对比分类；第 5 节对自然语言处理领域的预训练语言模型的未来发展趋势进行展望 2 预训练模型发展历史 早期的 PTMs 技术的目标是学习好的词嵌入。由于下游任务不再需要使用这些模型，因此它们在计算效率方面通常非常低，如 Skip-Gram[4] 和 GloVe[5]。 ALBERT 提出了两个参数优化策略以减少内存消耗并加速训练。此外，ALBERT 还对 BERT 的 NSP 任务进行了改进[19]。 4.2 基于上下文的 PTMs 总结 5 总结与展望 虽然 PTMs 已经在很多 NLP 任务中显示出了他们强大的能力，然而由于自然语言处理的复杂性，仍存在诸多挑战。 因此，一个更加务实的方向是在现有的软硬件基础上，设计出更高效的模型结构、自监督预训练任务、优化器和训练技巧等。
2.4K12发布于 2020-05-26 - 来自专栏深度学习自然语言处理
谷歌提出Flan-T5，一个模型解决所有NLP任务
Flan-T5是什么 「Flan-T5」是Google最新的一篇工作，通过在超大规模的任务上进行微调，让语言模型具备了极强的泛化性能，做到单个模型就可以在1800多个NLP任务上都能有很好的表现。 这意味着模型一旦训练完毕，可以直接在几乎全部的NLP任务上直接使用，实现「One model for ALL tasks」，这就非常有诱惑力！ 这里的Flan指的是（Instruction finetuning），即"基于指令的微调"；T5是2019年Google发布的一个语言模型了。 ） 输入：指令 + CoT引导 + 示例问题 + 示例问题理由 + 示例问题回答 + 指令 + CoT引导 + 问题 输出：理由 + 答案 (3) 「训练过程」：采用恒定的学习率以及Adafactor优化器进行训练 1800种几乎全部的NLP任务，通过较低的成本，极大发掘了现有语言模型的泛化性能，让大家看到了通用模型的希望，即「One Model for ALL Tasks」。
6.5K21编辑于 2023-01-10 - 来自专栏啄木鸟软件测试
大模型测试：性能优化的5大实战策略
引言 随着ChatGLM、Qwen、DeepSeek及Llama系列大语言模型在金融、政务、医疗等关键场景加速落地，模型测试已远超传统‘功能是否正确’的范畴——性能成为决定能否上线的核心瓶颈。 这些并非个例，而是大模型测试进入深水区的典型信号：性能不是附加项，而是可信AI的第一道防线。 一、明确性能基线：拒绝‘拍脑袋’指标 大模型性能测试首要误区是套用小模型标准。 推荐采用‘四层注入法’： 1）API层：模拟真实用户请求分布（如80%短提示+15%中长提示+5%对抗性长上下文），避免均匀负载失真； 2）Engine层：直连vLLM/Triton推理引擎，注入不同 三、动态量化与缓存协同：轻量级优化的黄金组合 量化不是‘一刀切’，而是与缓存机制深度耦合的系统工程。 结语 大模型性能测试的本质，是构建‘可测量、可归因、可演进’的效能反馈闭环。
18710编辑于 2026-03-31 - 来自专栏有三AI
【NLP】 NLP中应用最广泛的特征抽取模型-LSTM
本篇介绍在NLP中应用最为广泛的特征抽取模型LSTM。详细介绍LSTM提出的由来及其模型结构，并由此分析了LSTM能够解决RNN不能够对长序列进行处理和训练的原因。 LSTM是一个应用广泛的模型，但随着Attention机制的提出，transfomer开始作为一种更为强大的特征抽取模型，开始横扫各大NLP任务的榜单。 不出意外，transformer将会取代RNN及其衍生(LSTM GRU)模型，成为NLP中，最受欢迎、最为强大的特征抽取模型。 (3) NLP预训练模型。基于海量数据，进行超大规模网络的无监督预训练。具体的任务再通过少量的样本进行Fine-Tune。这样模式是目前NLP领域最火热的模式，很有可能引领NLP进入一个全新发展高度。 【NLP】用于语音识别、分词的隐马尔科夫模型HMM 【NLP】用于序列标注问题的条件随机场（Conditional Random Field, CRF） 【NLP】经典分类模型朴素贝叶斯解读 【NLP】
2.5K10发布于 2019-07-26 - 来自专栏云时之间
NLP入门之语音模型原理
这一篇文章其实是参考了很多篇文章之后写出的一篇对于语言模型的一篇科普文,目的是希望大家可以对于语言模型有着更好地理解,从而在接下来的NLP学习中可以更顺利的学习. 1:传统的语音识别方法: 这里我们讲解一下是如何将声音变成文字 基于深度学习的声学模型训练过程必须是由传统的混合高斯模型开始的,然后对训练数据集合进行强制的对齐,然后进行切分得到不同的声学特征,其实传统的方式并不利于对于整句话的全局优化,并且这个方法也需要额外的语音学和语言学的知识 随着神经网络优化技术的发展和GPU计算能力的不断提升，最终使用RNN和CTC来进行建模实现了end-to-end语音识别的声学模型。 这里仍然可以描述为EM的思想： E-step：使用BPTT算法优化神经网络参数； M-step：使用神经网络的输出，重新寻找最有的对齐关系。 CTC可以看成是一个分类方法，甚至可以看作是目标函数。 但这个语言模型仍然比较弱，如果外加一个更大数据量的语言模型，解码的效果会更好。因此，End-to-end现在指声学模型部分，等到不需要语言模型的时候，才是完全的end-to-end。
1.8K120发布于 2018-04-11
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号