- 综合排序
- 最热优先
- 最新优先
- 来自专栏杨熹的专栏
CMU Neural Nets for NLP 2019 (4)：CNN for NLP
CMU Neural Nets for NLP 2019 (4): Convolutional Neural Networks for Language 首先，让我们考虑情感分析这个文本分类问题，看看都有哪些方法可以用 ---- 将 CNN 用于文本 最早将 CNN 用于文本的是 (Collobert and Weston 2011)， 模型的基础的 1D CNN，但它引入了 2D 的函数。
62220发布于 2019-05-14 - 来自专栏caoqi95的记录日志
深度学习笔记4-模型优化算法
「这里记录的是吴恩达Andrew Ng在深度学习课程中提到过的优化算法，以及其他受推荐的优化算法。 以及日常感谢Andrew Ng的视频」 梯度下降的优化 1.指数加权平均 引入概念 在讲下面几个优化算法之前，先引出指数加权平均的概念。 同理计算sdb=βsdb+(1-β)db2； 最后更新权重w = w-αdw/sqrt(sdw+ε)和偏置b = b-αdb/sqrt(sdb+ε) (常用ε=10-8,加上ε是防止分母为零的情况出现) 4.
79320发布于 2019-03-27 - 来自专栏机器学习
【sklearn | 4】 深度教程：模型部署与优化
这篇教程将进一步探讨模型部署与优化的技术和方法。这些步骤在实际应用中非常重要，可以提高模型的可用性和性能。模型部署模型部署是将机器学习模型集成到生产环境中，使其能够处理实时数据和提供预测结果的过程。 模型优化模型优化是提升模型性能和效率的过程。sklearn 提供了多种工具来帮助优化模型，包括超参数调优和特征选择。超参数调优超参数调优是通过调整模型的超参数来提升模型性能的过程。 1：训练并优化模型from sklearn.datasets import load_irisfrom sklearn.model_selection import train_test_split, random_search.fit(X_train, y_train)# 最佳参数print(f"Best parameters: {random_search.best_params_}")# 保存优化后的模型 模型部署可以使用 Flask 构建 API，或在云平台上部署。模型优化包括超参数调优和特征选择。希望这些技术和方法能帮助你在实际项目中提高模型的可用性和性能。
78321编辑于 2024-07-24 - 来自专栏机器学习算法与Python学习
【特征提取+分类模型】4种常见的NLP实践思路
本文针对NLP项目给出了4种常见的解题思路，其中包含1种基于机器学习的思路和3种基于深度学习的思路。 思路4：Bert词向量：Bert是高配款的词向量，具有强大的建模学习能力。 三、基于机器学习的文本分类 3.1 TF-IDF+机器学习分类器(思路1) 3.1.1. 什么是TF-IDF？ 4.2.2 优化方法 为了提高速度，Word2vec 经常采用 2 种加速方式： 1、Negative Sample（负采样） 2、Hierarchical Softmax 4.2.3 优缺点 优点 Word2vec 是一种静态的方式，虽然通用性强，但是无法针对特定任务做动态优化 4.3 Bert词向量(思路4) BERT（Bidirectional Encoder Representations 4、预训练的BERT表示可以通过一个额外的输出层进行微调，适用于广泛任务的state-of-the-art模型的构建，比如问答任务和语言推理，无需针对具体任务做大幅架构修改。 5、一词多义问题
3.7K10发布于 2020-08-28 NLP模型基础（一）
自然语言处理致力于理解和生成自然语言，其中的词表示和语言模型是构建NLP的两大基础。本文系统介绍词表示方法（从离散符号到分布式向量）和语言模型（从统计方法到神经网络），为后续NLP模型打下基础。 这里先讲解一部分NLP模型基础，还有一部分会留到后两期，当然你也可以直接搜索关键字定位到你想要搜索的部分。本篇文章的篇幅可能会有点长，可以先点赞收藏，方便下次阅读。
34220编辑于 2025-07-04- 来自专栏NewBeeNLP
NLP简报（Issue#4）
工具包 4、Ethics in AI ? 此外，该模型得益于 DeepSpeed 库（与 PyTorch 兼容）和 ZeRO 优化器，这两者也会在本期简报中具体介绍。 ? 这项工作是关于使用神经学方法以类型多样的语言（即以结构上不同的方式构造和表达含义的语言）进行依赖关系解析[4]。 这种类型的工作不仅可以帮助优化业务运营，而且还显示了基于 BERT 的模型在带注释数据很少的情况下的适用性和有效性。同时提出并讨论了在云上运行的应用程序及其实现细节（请参见下图）。 ? 它提供了一个以高度可组合的方式组装最新的NLP和ML技术的平台，包括从信息检索，自然语言理解到自然语言生成的广泛任务。 4、Ethics in AI ?
1.3K20发布于 2020-08-26 - 来自专栏潇涧技术专栏
Head First Stanford NLP (4)
(深入浅出Stanford NLP 深入篇) 本文介绍与Stanford CoreNLP源码相关的内容。 /nlp/models/segmenter/chinese segment.serDictionary = edu/stanford/nlp/models/segmenter/chinese/dict-chris6 ExactStringMatch, PreciseConstructs, StrictHeadMatch1, StrictHeadMatch2, StrictHeadMatch3, StrictHeadMatch4, /models/dcoref/zh-attributes.txt.gz 很显然，如果希望Server支持中文的话就需要指定这些配置才行，但是中文的model文件自然是不能少的，不然会找不到相应的训练模型文件 OK，经过上面的几篇文章的折腾差不多对Stanford NLP有个了解了，剩下的就是根据自己的需求开发相应的NLP工具了。 最后的实践篇等我毕设写出来了再说，55555，从贵系毕业真是要跪了。。。
1.3K20发布于 2018-08-01 - 来自专栏CSDNToQQCode
【千帆大模型4】——Prompt优化——游戏对话语句优化
优化目标： 用于一个学习对话类的游戏。可以让大学生，特别是男孩子学会如何与女孩子对话。 此对话应用于对话小游戏： 【寻找游戏大模王】利用千帆大模型4制作小游戏 优化操作指引 优化指引在新手引导里面，右上角，直接点就行，描述的很直接，有动作指引。 基本对话 目标：随机渣男与女朋友的对话式聊天，需要5条信息， 1、信息1是渣女的问句； 2、信息2是渣男的优秀回复； 3、信息3是普通男的一般回复； 4、信息4是渣女对信息2渣男的回复并告知回答对了给与奖励话语 优化效果还是不错的，这里有一些参数我们来看着调整。 这样又生成了个模板： 总结 这只是一个简单的游戏对话的优化，虽然可以在结果中看到想要解析出来我们需要的接口还是比较麻烦的，如果要能根据结果再做反推就好了，期待这个功能。
44310编辑于 2023-11-22 - 来自专栏有三AI
【NLP】ALBERT：更轻更快的NLP预训练模型
目前在NLP领域，出彩的预训练模型的新工作，几乎都是基于BERT的改进，前面我们就介绍了XLNET。今天我来介绍一个更新的工作，相比于BERT，它更轻量，效果也要好。 作者&编辑 | 小Dream哥 1 预训练模型进展 2018年底，BERT横空出世之后，预训练模型开始走进NLP舞台的中央，吸引了业内所有人的关注。 之后，各种预训练模型开始不断的刷新NLP领域的SOTA榜单，比较有影响力的包括，GPT-2.0，XLNET，RoBERTa等。 大体来说，上述预训练模型确实都基于BERT了做了一些改进，在模型结构、训练模式等方面都有一些创新。但是大部分的预训练模型也有一个共通的“特点”，即模型相对“笨重”，预训练成本高。 这是NLP领域第一次发现dropout对大规模的预训练模型会造成负面影响。 此外，ALBERT还有一个albert_tiny模型，其隐藏层仅有4层，模型参数量约为1.8M，非常的轻便。
1.5K10发布于 2019-11-06 - 来自专栏全栈程序员必看
python分类模型_nlp模型评估指标
如果我们希望捕获少数类，模型就会失败。 其次，模型评估指标会失去意义。 但这些采样方法会增加样本的总数，对于决策树这个样本总是对计算速度影响巨大的算法来说，我们完全不想轻易地增加样本数量，所以我们要寻求另一条路：改进我们的模型评估指标，使用更加针对于少数类的指标来优化模型。 如果样本是加权的，则使用基于权重的预修剪标准来更容易优化树结构，这确保叶节点至少包含样本权重的总和的一小部分。 2 混淆矩阵 从上面内容可以看出，如果我们的目标是希望尽量捕获少数类，那准确率这个模型评估逐渐失效，所以我们需要新的模型评估指标来帮助我们。 如果一个模型在能够尽量捕获少数类的情况下，还能够尽量对多数类判断正确，则这个模型就非常优秀了。为了评估这样的能力，我们将引入新的模型评估指标：混淆矩阵来帮助我们。
1.1K10编辑于 2022-11-08 - 来自专栏AI小白入门
【NLP】加速BERT：从架构优化、模型压缩到模型蒸馏最新进展详解
BERT 在 NLP 领域的地位正如 ResNet 在 CV 领域的地位一样，属于里程碑的进展。 目前，BERT 已经成为 NLP 深度学习管道中的重要组成部分。 但 BERT 并不是完美无瑕的，它最大的问题就是：太大。 当然也可以采用其他优化，例如从学习率和策略、预热步数，较大的批处理大小等； 模型压缩：通常使用量化和修剪来完成，从而能够在架构不变（或者大部分架构不变）的情况下减少计算总量； 模型蒸馏：训练一个较小的模型 还有另外一种更为巧妙优化方案，这是一种被称为 LAMB 的新的分层自适应大批量优化技术 [4]，这种技术可以将 TPUv3 Pod 上的 BERT 训练时间从 3 天降低到 76 分钟（1024 个 TPUv3 英伟达最近发布了具有最新优化功能的 TensorRT 6[13]，它可以在 T4 GPU 上仅用 5.8 毫秒对 BERT-large 进行推理，而在 V100 上甚至只需要 4.2 毫秒，对于 Titan
1.3K20发布于 2019-11-14 - 来自专栏机器学习养成记
NLP基础：NNLM模型介绍
导读：在NLP中，语言模型用来判断一句话是否是正常人说的，广泛应用于信息检索、机器翻译、语音识别等重要任务中。 传统的语言模型主要基于统计方法（如：NLP基础：N-Gram模型），虽然可解释性强、易于理解，但存在泛化能力差等问题。随着深度学习技术的发展，相关技术也应用到语言模型中，如NNLM模型。 2 模型训练目标及参数 模型参数： 一般来讲，神经网络的输入不需要训练，但是在NNLM模型中，神经网络的输入是词向量x，也是需要训练的参数。 4 补充概念-词向量 文本数据无法直接进行计算，如果想将自然语言问题转化为模型问题，需要将文本进行数字化。 biz=MzI2MDU3OTgyOQ==&mid=2247491908&idx=1&sn=5d056222580e9a365f87bb697f73c550&chksm=ea6529dedd12a0c8d4ced252c3f5bbfd90a82428aee2a5103fb0a136e729af459f4638aee761&
1.6K30编辑于 2022-08-31 - 来自专栏我的充电站
NLP笔记：fastText模型考察
1. fastText模型原理 fastText大约是NLP文本分类任务中最简单最直观的模型架构之一了，其原始文献详见参考链接2，facebook也提供了相应的开源工具，可以相当便利地用来训练一些nlp 分类模型。 网上其实已经有了不少有关fasttext模型的介绍，比如下述参考链接3和4。 4. 使用torch构建fastText模型 同样的，我们使用torch来进行fasttext模型的训练。 https://github.com/facebookresearch/fastText https://arxiv.org/abs/1607.01759 fastText原理和文本分类实战，看这一篇就够了 NLP
1.1K30发布于 2021-03-26 - 来自专栏机器学习初学者精选文章
【NLP】预训练模型综述
第 2 节按时间顺序简要概述了预训练语言模型的整个发展历史；第 3 节详细介绍自然语言处理领域的经典预训练模型；第 4 节小结了预训练模型的优点和其对比分类；第 5 节对自然语言处理领域的预训练语言模型的未来发展趋势进行展望 其后，GPT[12]，BERT 等预训练语言模型相继被提出，PTMs 技术开始在 NLP 领域大放异彩。 ALBERT 提出了两个参数优化策略以减少内存消耗并加速训练。此外，ALBERT 还对 BERT 的 NSP 任务进行了改进[19]。 目前 NLP 中的 SOTA 也可通过加深模型层数来更进一步提升，这将导致更加高昂的训练成本。 因此，一个更加务实的方向是在现有的软硬件基础上，设计出更高效的模型结构、自监督预训练任务、优化器和训练技巧等。
2.4K12发布于 2020-05-26 - 来自专栏JavaPark
自然语言处理 NLP（4）
阿兰·图灵与1950年提出，测试在测试者和被测试者相互隔开的情况下，通过一些简单的装置向被测试者随意提问。通过一些问题之后，若被测试者的答复有超过30%的部分无法让测试者确认出是人还是机器的回答，则此时这台机器通过测试， 且被认为具有人工智能；
64710编辑于 2022-06-15 - 来自专栏机器学习/数据可视化
NLP札记4-字典分词
NLP札记4-字典树 完全切分、正向最长匹配和逆向最长匹配这三种算法的缺点就是如何判断集合中是否含有字符串。 HanLP将中文分为简体s、繁体t、台湾正体tw、香港繁体hk4这4种。 拼音转换 将拼音转换为汉字的问题。
1.3K20发布于 2021-03-02 - 来自专栏NowlNowl_AI
机器学习第4天：模型优化方法—梯度下降
, pre_y, "r-") plt.show() max_iter为下降批次，tol为损失函数阈值，penalty为不使用正则化（可自行搜索），eta0为最初的步长（之后会慢慢减小），整体意思就是当模型训练
40010编辑于 2024-01-18 - 来自专栏有三AI
【NLP】 NLP中应用最广泛的特征抽取模型-LSTM
本篇介绍在NLP中应用最为广泛的特征抽取模型LSTM。详细介绍LSTM提出的由来及其模型结构，并由此分析了LSTM能够解决RNN不能够对长序列进行处理和训练的原因。 LSTM是一个应用广泛的模型，但随着Attention机制的提出，transfomer开始作为一种更为强大的特征抽取模型，开始横扫各大NLP任务的榜单。 不出意外，transformer将会取代RNN及其衍生(LSTM GRU)模型，成为NLP中，最受欢迎、最为强大的特征抽取模型。 (3) NLP预训练模型。基于海量数据，进行超大规模网络的无监督预训练。具体的任务再通过少量的样本进行Fine-Tune。这样模式是目前NLP领域最火热的模式，很有可能引领NLP进入一个全新发展高度。 【NLP】用于语音识别、分词的隐马尔科夫模型HMM 【NLP】用于序列标注问题的条件随机场（Conditional Random Field, CRF） 【NLP】经典分类模型朴素贝叶斯解读 【NLP】
2.5K10发布于 2019-07-26 - 来自专栏云时之间
NLP入门之语音模型原理
这一篇文章其实是参考了很多篇文章之后写出的一篇对于语言模型的一篇科普文,目的是希望大家可以对于语言模型有着更好地理解,从而在接下来的NLP学习中可以更顺利的学习. 1:传统的语音识别方法: 这里我们讲解一下是如何将声音变成文字 基于深度学习的声学模型训练过程必须是由传统的混合高斯模型开始的,然后对训练数据集合进行强制的对齐,然后进行切分得到不同的声学特征,其实传统的方式并不利于对于整句话的全局优化,并且这个方法也需要额外的语音学和语言学的知识 随着神经网络优化技术的发展和GPU计算能力的不断提升，最终使用RNN和CTC来进行建模实现了end-to-end语音识别的声学模型。 这里仍然可以描述为EM的思想： E-step：使用BPTT算法优化神经网络参数； M-step：使用神经网络的输出，重新寻找最有的对齐关系。 CTC可以看成是一个分类方法，甚至可以看作是目标函数。 4、 解码传统的语音识别解码都是建立在WFST的基础之上，它是将HMM、词典以及语言模型编译成一个网络。解码就是在这个WFST构造的动态网络空间中，找到最优的输出字符序列。
1.8K120发布于 2018-04-11 - 来自专栏自然语言处理(NLP)论文速递
(含源码)「自然语言处理(NLP)」社区问答评估&&各种Bert模型优化对比
4、TILE: ALBERT: A Lite BERT for Self-supervised Learning of Language Representations Author: Zhenzhong 本文我们通过引入一个统一的框架来探索NLP的迁移学习技术的前景，该框架将每种语言问题都转换为文本到文本格式。 为了促进NLP迁移学习的未来工作，我们发布了数据集，预训练的模型和代码。 ? Victor Sanh • Lysandre Debut • Julien Chaumond • Thomas Wolf Paper: https://arxiv.org/pdf/1910.01108v4. pdf Code: None 论文简述： 随着迁移学习在自然语言处理(NLP)中越来越普遍，在边缘和/或计算训练或推理预算受限的情况下操作这些大型模型仍然是具有挑战性。
79530发布于 2020-07-31
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号