- 综合排序
- 最热优先
- 最新优先
- 来自专栏NewBeeNLP
NLP简报（Issue#9）
进展 4.4 法语NLP进展 4.5 在类BERT的语言模型之上自定义分类器 5、Education ? Gabriele Sarti编写了一个交互式工具[9]，通过使用SciBERT精细调整的模型[10]，可以让你更有效地搜索和浏览这些文件。 ? 这激发了当前NLP趋势，即在保持性能的同时推动更小，更快和更环保的模型。 TensorFlow 2.2.0-rc-1[55] 已经发布，它包括诸如Profiler之类的功能，可以帮助你发现ML模型中的瓶颈并指导对这些模型的优化。 GabrielPeyré在ML优化课程[57]中提供了一组不错的笔记，包括凸分析，SGD，autodiff，MLP等。
1.3K20发布于 2020-08-26 NLP模型基础（一）
自然语言处理致力于理解和生成自然语言，其中的词表示和语言模型是构建NLP的两大基础。本文系统介绍词表示方法（从离散符号到分布式向量）和语言模型（从统计方法到神经网络），为后续NLP模型打下基础。 这里先讲解一部分NLP模型基础，还有一部分会留到后两期，当然你也可以直接搜索关键字定位到你想要搜索的部分。本篇文章的篇幅可能会有点长，可以先点赞收藏，方便下次阅读。
34220编辑于 2025-07-04- 来自专栏有三AI
【NLP】ALBERT：更轻更快的NLP预训练模型
目前在NLP领域，出彩的预训练模型的新工作，几乎都是基于BERT的改进，前面我们就介绍了XLNET。今天我来介绍一个更新的工作，相比于BERT，它更轻量，效果也要好。 作者&编辑 | 小Dream哥 1 预训练模型进展 2018年底，BERT横空出世之后，预训练模型开始走进NLP舞台的中央，吸引了业内所有人的关注。 之后，各种预训练模型开始不断的刷新NLP领域的SOTA榜单，比较有影响力的包括，GPT-2.0，XLNET，RoBERTa等。 大体来说，上述预训练模型确实都基于BERT了做了一些改进，在模型结构、训练模式等方面都有一些创新。但是大部分的预训练模型也有一个共通的“特点”，即模型相对“笨重”，预训练成本高。 这是NLP领域第一次发现dropout对大规模的预训练模型会造成负面影响。 此外，ALBERT还有一个albert_tiny模型，其隐藏层仅有4层，模型参数量约为1.8M，非常的轻便。
1.5K10发布于 2019-11-06 - 来自专栏全栈程序员必看
python分类模型_nlp模型评估指标
如果我们希望捕获少数类，模型就会失败。 其次，模型评估指标会失去意义。 但这些采样方法会增加样本的总数，对于决策树这个样本总是对计算速度影响巨大的算法来说，我们完全不想轻易地增加样本数量，所以我们要寻求另一条路：改进我们的模型评估指标，使用更加针对于少数类的指标来优化模型。 如果样本是加权的，则使用基于权重的预修剪标准来更容易优化树结构，这确保叶节点至少包含样本权重的总和的一小部分。 如果一个模型在能够尽量捕获少数类的情况下，还能够尽量对多数类判断正确，则这个模型就非常优秀了。为了评估这样的能力，我们将引入新的模型评估指标：混淆矩阵来帮助我们。 , [ 15, 14]], dtype=int64) #平衡后 metrics.confusion_matrix(Ytest,clf_02.predict(Xtest)) array([[182, 9]
1.1K10编辑于 2022-11-08 - 来自专栏AI小白入门
【NLP】加速BERT：从架构优化、模型压缩到模型蒸馏最新进展详解
Camel 编辑 | 唐里 原文标题：Speeding up BERT 原文链接：https://blog.inten.to/speeding-up-bert-5528e18bb4ea BERT 在 NLP 目前，BERT 已经成为 NLP 深度学习管道中的重要组成部分。 但 BERT 并不是完美无瑕的，它最大的问题就是：太大。 对以上的问题，能够想到的最直接的方法就是优化神经网络。这在神经网络中并不陌生，其他领域（例如计算机视觉）以前也有相同的问题，并且已经开发了几种压缩和加速神经网络模型的方法。 当然也可以采用其他优化，例如从学习率和策略、预热步数，较大的批处理大小等； 模型压缩：通常使用量化和修剪来完成，从而能够在架构不变（或者大部分架构不变）的情况下减少计算总量； 模型蒸馏：训练一个较小的模型 相比严格调校的 RoBERTa，ALBERT 则同样更胜一筹 [9]。 2、量化和修剪 ? 量化 会降低模型权重的数值精度。
1.3K20发布于 2019-11-14 - 来自专栏机器学习养成记
NLP基础：NNLM模型介绍
导读：在NLP中，语言模型用来判断一句话是否是正常人说的，广泛应用于信息检索、机器翻译、语音识别等重要任务中。 传统的语言模型主要基于统计方法（如：NLP基础：N-Gram模型），虽然可解释性强、易于理解，但存在泛化能力差等问题。随着深度学习技术的发展，相关技术也应用到语言模型中，如NNLM模型。 2 模型训练目标及参数 模型参数： 一般来讲，神经网络的输入不需要训练，但是在NNLM模型中，神经网络的输入是词向量x，也是需要训练的参数。 一般是50-100维，大大降低了数据维度，且越相近的词距离越近，这也使得使用词嵌入的模型自带平滑功能。在训练语言模型的同时可以训练得到词向量。 __biz=MzI2MDU3OTgyOQ==&mid=2247491908&idx=1&sn=5d056222580e9a365f87bb697f73c550&chksm=ea6529dedd12a0c8d4ced252c3f5bbfd90a82428aee2a5103fb0a136e729af459f4638aee761&
1.6K30编辑于 2022-08-31 - 来自专栏我的充电站
NLP笔记：fastText模型考察
1. fastText模型原理 fastText大约是NLP文本分类任务中最简单最直观的模型架构之一了，其原始文献详见参考链接2，facebook也提供了相应的开源工具，可以相当便利地用来训练一些nlp 分类模型。 0.29 0.14 0.19 2307 __label__8 0.27 0.26 0.26 2850 __label__9 使用torch构建fastText模型 同样的，我们使用torch来进行fasttext模型的训练。 https://github.com/facebookresearch/fastText https://arxiv.org/abs/1607.01759 fastText原理和文本分类实战，看这一篇就够了 NLP
1.1K30发布于 2021-03-26 - 来自专栏机器学习初学者精选文章
【NLP】预训练模型综述
在 [6] 中，Dai 和 Le 使用的是LSTM[9]，它解决了 RNN 在处理时序模型时『back-propagation through time』的困难。 GPT 模型在公布的结果中，一举刷新了自然语言处理领域的 9 项典型任务，效果不可谓不惊艳。 ALBERT 提出了两个参数优化策略以减少内存消耗并加速训练。此外，ALBERT 还对 BERT 的 NSP 任务进行了改进[19]。 因此，一个更加务实的方向是在现有的软硬件基础上，设计出更高效的模型结构、自监督预训练任务、优化器和训练技巧等。 Track Proc., no. 2015, pp. 1–9, 2016. [16] Y.
2.4K12发布于 2020-05-26 - 来自专栏新智元
GitHub超9千星：一个API调用27个NLP预训练模型
新智元报道 来源：GitHub 编辑：元子 【新智元导读】只需一个API，直接调用BERT, GPT, GPT-2, Transfo-XL, XLNet, XLM等6大框架，包含了27个预训练模型 前几日，著名最先进的自然语言处理预训练模型库项目pytorch-pretrained-bert改名Pytorch-Transformers重装袭来，1.0.0版横空出世。 ? 只需一个API，直接调用BERT, GPT, GPT-2, Transfo-XL, XLNet, XLM等6大框架，包含了27个预训练模型。 简单易用，功能强大。 目前已经包含了PyTorch实现、预训练模型权重、运行脚本和以下模型的转换工具： BERT，论文：“BERT: Pre-training of Deep Bidirectional Transformers 项目中提供27个预训练模型，下面是这些模型的完整列表，以及每个模型的简短介绍。 ?
83320发布于 2019-07-23 - 来自专栏大模型应用
大模型应用：本地大模型部署中的Token效率优化与性能分析.9
今天我们基于本地部署的Qwen1.5-1.8B-Chat模型，通过构建完整的Token监控与分析系统，深入探讨了模型交互过程中的Token消耗模式、优化策略及实践应用。 随着模型规模的不断扩大和应用场景的多样化，如何在不牺牲对话质量的前提下优化Token使用效率，已成为提升大模型应用经济性和实用性的关键问题。 今天我们通过系统化的Token追踪、智能上下文管理和多维度统计分析，为中小规模语言模型的优化部署提供了可复用的解决方案。二、Token交互基础1. ，由Google在2017年提出，并在自然语言处理（NLP）领域中广泛应用。 ，确保系统在不同硬件环境下的可用性通过持续的技术迭代和优化，我们相信Token效率优化将在推动大语言模型普惠应用方面发挥越来越重要的作用。
53043编辑于 2026-02-06 - 来自专栏有三AI
【NLP】 NLP中应用最广泛的特征抽取模型-LSTM
本篇介绍在NLP中应用最为广泛的特征抽取模型LSTM。详细介绍LSTM提出的由来及其模型结构，并由此分析了LSTM能够解决RNN不能够对长序列进行处理和训练的原因。 LSTM是一个应用广泛的模型，但随着Attention机制的提出，transfomer开始作为一种更为强大的特征抽取模型，开始横扫各大NLP任务的榜单。 不出意外，transformer将会取代RNN及其衍生(LSTM GRU)模型，成为NLP中，最受欢迎、最为强大的特征抽取模型。 (3) NLP预训练模型。基于海量数据，进行超大规模网络的无监督预训练。具体的任务再通过少量的样本进行Fine-Tune。这样模式是目前NLP领域最火热的模式，很有可能引领NLP进入一个全新发展高度。 【NLP】用于语音识别、分词的隐马尔科夫模型HMM 【NLP】用于序列标注问题的条件随机场（Conditional Random Field, CRF） 【NLP】经典分类模型朴素贝叶斯解读 【NLP】
2.5K10发布于 2019-07-26 - 来自专栏云时之间
NLP入门之语音模型原理
这一篇文章其实是参考了很多篇文章之后写出的一篇对于语言模型的一篇科普文,目的是希望大家可以对于语言模型有着更好地理解,从而在接下来的NLP学习中可以更顺利的学习. 1:传统的语音识别方法: 这里我们讲解一下是如何将声音变成文字 基于深度学习的声学模型训练过程必须是由传统的混合高斯模型开始的,然后对训练数据集合进行强制的对齐,然后进行切分得到不同的声学特征,其实传统的方式并不利于对于整句话的全局优化,并且这个方法也需要额外的语音学和语言学的知识 随着神经网络优化技术的发展和GPU计算能力的不断提升，最终使用RNN和CTC来进行建模实现了end-to-end语音识别的声学模型。 这里仍然可以描述为EM的思想： E-step：使用BPTT算法优化神经网络参数； M-step：使用神经网络的输出，重新寻找最有的对齐关系。 CTC可以看成是一个分类方法，甚至可以看作是目标函数。 但这个语言模型仍然比较弱，如果外加一个更大数据量的语言模型，解码的效果会更好。因此，End-to-end现在指声学模型部分，等到不需要语言模型的时候，才是完全的end-to-end。
1.8K120发布于 2018-04-11 - 来自专栏机器学习AI算法工程
9种提速又提效的模型优化方案
为了解决这个问题，业内出现了许多Transformer的魔改工作，以优化Transformer的运行效率。 我这次就给大家分享9篇对Transformer模型进行效率优化的改进文章，以方便大家更高效地使用模型，寻找论文创新点。 由此产生的Reformer模型在长序列上表现相当，但更内存高效和更快。 在LibriSpeech基准测试中，Conformer在不使用语言模型的情况下实现了2.1％/4.3％的WER，在使用外部语言模型的情况下实现了1.9％/3.9％的WER。 此外，它还具有竞争力的小模型，只有10M参数。
3K11编辑于 2024-04-30 - 来自专栏自然语言处理(NLP)论文速递
(含源码)「自然语言处理(NLP)」社区问答评估&&各种Bert模型优化对比
https://arxiv.org/pdf/1810.04805v2.pdf Code: https://github.com/tensorflow/models/tree/master/official/nlp https://arxiv.org/pdf/2003.02436v1.pdfCode: https://github.com/tensorflow/models/tree/master/official/nlp id=r1xMH1BtvB Code: https://github.com/google-research/electra 论文简述： 虽然掩膜语言建模(MLM)的预训练方法，比如说BERT在下游的NLP 本文我们通过引入一个统一的框架来探索NLP的迁移学习技术的前景，该框架将每种语言问题都转换为文本到文本格式。 为了促进NLP迁移学习的未来工作，我们发布了数据集，预训练的模型和代码。 ?
79530发布于 2020-07-31 - 来自专栏Python与算法之美
9，模型的评估
模块中的交叉验证相关方法可以评估模型的泛化能力，能够有效避免过度拟合。 二，分类模型的评估 模型分类效果全部信息： confusion_matrix 混淆矩阵,误差矩阵。 ? 模型整体分类效果： accuracy 正确率。通用分类评估指标。 模型对某种类别的分类效果： precision 精确率，也叫查准率。模型不把正样本标错的能力。“不冤枉一个好人”。 recall 召回率，也叫查全率。模型识别出全部正样本的能力。 三，回归模型的评估 回归模型最常用的评估指标有： r2_score(r方，拟合优度，可决系数) explained_variance_score(解释方差得分) ? ? 留出法 为了解决过拟合问题，常见的方法将数据分为训练集和测试集，用训练集去训练模型的参数，用测试集去测试训练后模型的表现。
96631发布于 2020-07-17 9个SQL优化技巧
大多数的接口性能问题，很多情况下都是SQL问题，在工作中，我们也会定期对慢SQL进行优化，以提高接口性能。这里总结一下常见的优化方向和策略。 过度索引：当表中存在过多的索引时，可能会导致数据库优化器在选择使用哪个索引时变得困难。这可能会导致查询性能下降，因为优化器可能选择了不是最优的索引。 为了优化这个查询，我们可以考虑以下几种方法： 索引优化： 确保在 customer_id 字段上创建索引，以加速 GROUP BY 和 WHERE 子句的执行。 条件优化： 使用WHERE条件在分组前，就把多余的数据过滤掉了，这样分组时效率就会更高一些。而不是在分组后使用having过滤数据。 深分页limit优化深分页通常指的是在处理大量数据时，用户需要浏览远离首页的页面，例如第100页、第1000页等。
1.3K10编辑于 2024-05-21- 来自专栏自然语言处理
NLP系列（二）LDA主题模型
LDA模型是NLP中很基础也是大家广为熟知的模型，在面试过程也经常遇到。本文简单讲述下其大致流程。 1 LDA 简介 首先，我们来感受下LDA是什么， ? 什么是LDA模型？ 看来，不同人在不同场景下对LDA的认识，那我们看下百科的解释： LDA（Latent Dirichlet Allocation）是一种文档主题生成模型，也称为一个三层贝叶斯概率模型，包含词、主题和文档三层结构 所谓生成模型，就是说，我们认为一篇文章的每个词都是通过“以一定概率选择了某个主题，并从这个主题中以一定概率选择某个词语”这样一个过程得到。文档到主题服从多项式分布，主题到词服从多项式分布。 看到这里我们只需要先记住：LDA的目的就是要识别主题，即把文档—词汇矩阵变成文档—主题矩阵（分布）和主题—词汇矩阵（分布） 2 LDA模型构建过程 2.1 LDA生成流程 对于语料库中的每篇文档，LDA 4 参考资料 LDA（LDA文档主题生成模型）_百度百科
4.8K50发布于 2019-06-24 - 来自专栏机器学习养成记
NLP基础：N-Gram模型
导读：NLP技术经历了人工撰写规则、机器学习、深度学习的衍变过程，应用范围及准确度在不断提升。 N-Gram是NLP领域的重要概念之一，依据统计知识获得词出现概率、句子出现概率，此方法易于理解且在很多应用上被证明有效。 1 概念 变量W代表一个有m个词的序列，即 ? 从计算上看，知道一个词出现的概率需要知道其前面所有词的出现概率，这种方法太过复杂，因此这里引入了马尔可夫模型，即当前词的出现概率仅与前面几个词有关。由此产生了N-Gram模型。 N-Gram模型又称为n-1阶马尔可夫模型，指建立一个长度为n字节的窗口在文本上滑动，假定第n个词出现的概率只与前面n-1个词相关，与其他词不相关。整个句子出现的概率即为各个词出现的概率： ? 当n取的越大，对下个词出现的约束信息越多，模型越准确，但需要的计算量越大。因为当文本中有不同的词|V|个，则所有可能的N-Gram数就有|V|的n次方个。
1.5K20发布于 2021-04-09 - 来自专栏学弱猹的精品小屋
NLP——HMM模型与计算实例
这一部分摘自我这学期在电子工程与计算机（Electrical Engineering and Computer Science, EECS）所修的自然语言处理（Natural Language Processing, NLP 隐马尔可夫模型的三大类问题 隐马尔可夫模型有三大类问题。但在这里我们只介绍两个，因为最后一个是需要使用EM算法的，但是在NLP的背景下暂时还用不上，所以我们这里就不多提了。 HMM在NLP中的应用 在NLP中，HMM也有它自己的一个应用，这个就是HMM标签器（tagger）。 但是如果要使用上面的隐马尔可夫模型，我们必然是需要一些假设的。具体来说就是 第一个就是隐马尔可夫模型中的条件独立假设，第二个其实是NLP中的n-gram假设。 小结 本节主要介绍了隐马尔可夫模型的具体应用，理解和计算实例，并简单的介绍了一个它在NLP中的一个应用例子。
1.3K20发布于 2021-10-18 - 来自专栏NLP蜕变测试
NLP模型中的蜕变测试
这种方法在NLP领域也很有用。 蜕变关系（Metamorphic Relation, MR） MR是蜕变测试中的核心概念。蜕变关系是指：在输入变化时，输出应该遵循的预期规律。 2 在NLP模型中的应用 以图文情感分类任务为例。任务描述：根据图片和文本，确定情感极性。 使用蜕变测试来验证模型的准确性和鲁棒性，并可以通过系统地修改输入并检查模型的相应，可以揭示模型在实际应用中可能遇到的问题。 模型的预测结果应该保持一致。 （2）文本的句法转变：对文本进行句法结构的改变，例如将主语语态改为被动语态，但是保持原有的信息和情感不变。模型的预测应该一样。 分析不一致性 如果模型不遵循蜕变关系，分析不一致性的原因，这可能暴露模型的弱点或者数据处理的问题。 调整模型或者数据 根据测试结果调整模型或数据预处理步骤，并重复测试，直到模型表现满意为止。
75310编辑于 2023-11-23
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号