- 综合排序
- 最热优先
- 最新优先
- 来自专栏数据分析与挖掘
机器学习-文本分类（2）-新闻文本分类
而且文本按照字符级别进行了匿名处理，处理后的数据为下： ? 这里就直接拆分训练集为训练集和测试集了。 train_set.csv" train_df = pd.read_csv(train_path, sep='\t', nrows=15000) train_df['text'] train_df['label'] 4、进行文本分类 （1）n-gram+岭分类 vectorizer = CountVectorizer(max_features=3000) train_test = vectorizer.fit_transform( TF-IDF+岭分类 tfidf = TfidfVectorizer(ngram_range=(1,3), max_features=3000) train_test = tfidf.fit_transform ：阿尔法对模型的影响 sample = train_df[0:5000] n = int(2*len(sample)/3) tfidf = TfidfVectorizer(ngram_range=(2,3
1.2K30发布于 2020-08-26 - 来自专栏PaddlePaddle
【文本分类】基于双层序列的文本分类模型
本周推文目录如下： 周一：【点击率预估】 Wide&deep 点击率预估模型 周二：【文本分类】 基于DNN/CNN的情感分类 周三：【文本分类】 基于双层序列的文本分类模型 周四：【排序学习】 基于 Pairwise和Listwise的排序学习 周五：【结构化语义模型】 深度结构化语义模型 文本分类是自然语言处理领域最基础的任务之一，深度学习方法能够免除复杂的特征工程，直接使用原始文本作为输入，数据驱动地最优化分类准确率 在文本分类任务中，我们以情感分类任务为例，提供了基于DNN的非序列文本分类模型，以及基于CNN的序列模型供大家学习和使用（基于LSTM的模型见PaddleBook中情感分类一课）。 02 基于双层序列的文本分类 本例将演示如何在 PaddlePaddle 中将长文本输入（通常能达到段落或者篇章）组织为双层序列，完成对长文本的分类任务 |1.模型介绍 我们将一段文本看成句子的序列，而每个句子又是词语的序列 I waste so much time. （2）编写数据读取接口 自定义数据读取接口只需编写一个 Python 生成器实现从原始输入文本中解析一条训练样本的逻辑。
1.7K30发布于 2018-03-15 - 来自专栏春天和爱情の樱花
NLP文本分类
基于深度学习的文本分类 文本分类领域，目前主要可分为： 情感分析 新闻分析 主题分类 问答系统 自然语言推理（NLI） 五大领域（当然也有一些其他细分领域，这里不进行讨论）。 ：经过训练，可以识别文本分类的文本模式（例如关键短语）。 我们可以看到入门的word2vec在2013年就已经提出来了，还有当下比较热门的Tree-LSTM、BERT也是前几年提出来的，的确是更新很快啊emmmm... Precision = TP/（TP+FP） Recall = TP/（TP+TN） F1 score = 2Precision*Recall/（Precision+Recall） Exact Match 在这个基础上，针对更具挑战性的文本分类任务构建新的数据集，例如具有多步推理的QA，针对多语言文档的文本分类，用于极长的文档的文本分类也将成为下一个中文文本分析领域飞速发展的突破口。
75720编辑于 2022-09-22 - 来自专栏全栈程序员必看
TextCNN(文本分类)
TextCNN网络结构如图所示： 利用TextCNN做文本分类基本流程（以句子分类为例）： （1）将句子转成词，利用词建立字典 （2）词转成向量（word2vec，Glove，bert，nn.embedding 1，预测结果不是很好，句子太少 2，没有用到复杂的word2vec的模型 3，句子太少，没有eval function。 (1,3,(2,self.embed_size)) ###in_channels, out_channels, kernel_size self.conv2 = nn.Conv2d(1,3 x1 = self.max_pool1(conv1) x2 = self.max_pool2(conv2) x3 = self.max_pool3(conv3 (sentence) test.sen2sen(sentence) word,words_num = test.countword() test.word2id()
79030编辑于 2022-09-15 - 来自专栏某菜鸟の小屋
新闻文本分类
前言 一个很粗糙的新闻文本分类项目，解决中国软件杯第九届新闻文本分类算法的问题，记录了项目的思路及问题解决方法 后续会进一步改进，包括： 丰富训练集的数据，避免军事类、房产类、体育类的新闻数据过少， 影响精度 改用上限更高的Bert模型 优化exe文件的页面，使其能够分别处理识别短文本和excel文件 项目源码：https://github.com/bluehyssopu/NewSort 项目问题链接 展示测试集处理的脚本 showTrain.ipynb —展示训练集处理的脚本 test.py —测试所用的py文件 可跳过 test2. —数据清洗前的源数据 RemdMe.md —项目文件说明 运行dist目录下的test2. train_df['text_len'].describe() # 统计文本长度 生成直方图 import matplotlib.pyplot as plt _ = plt.hist(train_df
1.5K20编辑于 2022-11-01 - 来自专栏Fdu弟中弟
BERT文本分类
使用Huggingface中预训练的BERT模型进行文本分类。 train.txt：https://github.com/649453932/Bert-Chinese-Text-Classification-Pytorch/tree/master/THUCNews/data，十分类问题 input_masks = [] # attention mask label = [] # 标签 pad_size = 32 # 也称为 max_len (前期统计分析，文本长度最大值为 0,0] == pooled[0]) # False 注意是不一样的 pooled再加了一层dense和activation out = self.fc(pooled) # 得到10分类 ), x2.to(device), x3.to(device), y.to(device) y_pred = model([x1, x2, x3]) # 得到预测结果
2.2K31发布于 2021-02-24 - 来自专栏机器学习之旅
GolVe向量化做文本分类向量化文本分类
向量化 在之前，我对向量化的方法一直局限在两个点， 第一种是常规方法的one-hot-encoding的方法，常见的比如tf-idf生成的0-1的稀疏矩阵来代表原文本： ? 这种方法简单暴力，直接根据文本中的单词进行one-hot-encoding，但是数据量一但大了，这个单句话的one-hot-encoding结果会异常的长，而且没办法得到词与词之间的关系。 文本分类 刚才开门见山的聊了蛮久向量化，看起来和文本分类没什么关系，确实在通常意义上来讲，我们的最简单最常用的方法并不是向量化的方法，比如通过朴素贝叶斯，N-Grams这些方法来做分类识别。 u)\b\w+\b", max_df=0.5, sublinear_tf=True,ngram_range=(1, 1), max_features=100000) 3.不仅仅用bayes进行一次分类， lr = LogisticRegressionCV(multi_class="ovr", fit_intercept=True, Cs=np.logspace(-2, 2, 20), cv=2, penalty
2K40发布于 2018-10-08 - 来自专栏用户2442861的专栏
文本分类（六）：使用fastText对文本进行分类--小插曲
测试facebook开源的基于深度学习的对文本分类的fastText模型 fasttext Python包的安装: pip install fasttext 1 1 第一步获取分类文本，文本直接用的清华大学的新闻分本 ，可在文本系列的第三篇找到下载地址。 输出数据格式： 样本 + 样本标签 说明：这一步不是必须的，可以直接从第二步开始，第二步提供了处理好的文本格式。写这一步主要是为了记忆当时是怎么处理原始文本的。 3 4 5 6 7 8 9 10 11 1 2 3 4 5 6 7 8 9 10 11 从结果上，看出fasttext的分类效果还是不错的，没有进行对fasttext的调参，结果都基本在90以上，不过在预测的时候 ，不知道怎么多出了一个分类constellation。
1.8K10发布于 2018-09-19 - 来自专栏全栈程序员必看
文本分类算法之–贝叶斯文本分类算法
文本分类过程 例如文档：Good good study Day day up可以用一个文本特征向量来表示，x=(Good, good, study, Day, day , up)。 在文本分类中，假设我们有一个文档d∈X，类别c又称为标签。我们把一堆打了标签的文档集合<d,c>作为训练样本，<d,c>∈X×C。 2）举例 给定一组分好类的文本训练数据，如下： docId doc 类别 In c=China? 后记：文本分类是作为离散型数据的，以前糊涂是把连续型与离散型弄混一块了，朴素贝叶斯用于很多方面，数据就会有连续和离散的，连续型时可用正态分布，还可用区间，将数据的各属性分成几个区间段进行概率计算，测试时看其属性的值在哪个区间就用哪个条件概率 再有TF、TDIDF，这些只是描述事物属性时的不同计算方法，例如文本分类时，可以用单词在本文档中出现的次数描述一个文档，可以用出现还是没出现即0和1来描述，还可以用单词在本类文档中出现的次数与这个单词在剩余类出现的次数
89210编辑于 2022-09-05 - 来自专栏NLP算法工程师之路
长文本分类
在NLP领域中，文本分类舆情分析等任务相较于文本抽取，和摘要等任务更容易获得大量标注数据。因此在文本分类领域中深度学习相较于传统方法更容易获得比较好的效果。 文本分类领域比较重要的的深度学习模型主要有FastText，TextCNN，HAN，DPCNN。 FastText FastText是Facebook于2016年开源的一个词向量计算和文本分类工具，在学术上并没有太大创新。 但是它的优点也非常明显，在文本分类任务中，fastText（浅层网络）往往能取得和深度网络相媲美的精度，却在训练时间上比深度网络快许多数量级。 Reference 如何用深度学习做好长文本分类与法律文书智能化处理 Conv1D DPCNN in Keras代码
1.7K20发布于 2019-12-18 - 来自专栏Pytorch实践
大话文本分类
概述 文本分类是自然语言处理的重要应用，也可以说是最基础的应用。常见的文本分类应用有：新闻文本分类、信息检索、情感分析、意图判断等。本文主要针对文本分类的方法进行简单总结。 于是又发展了几种现阶段比较常用的分类特征：n-gram模型考虑上下文；主题模型LDA[2]通过无监督方法得到词语和文档在不同主题的分布情况；word2vec[1]用于得到词语之间的分布信息等。 TF-IDF计算、n-gram、word2vec、LDA等；特征提取之后还存在特征选择的过程，特征选择的过程，由于TF-IDF特征过于稀疏，需要对特征进行选择，找到对分类有效的特征，常用的方法有信息增益 fastText神经网络模型 （2） DAN/ADAN文本分类 论文[4]中给出了DAN、ADAN的文本分类模型。 DAN指的是Deep Average Network，主要是基于word2vec词向量特征，通过求文档中所有词语的word2vec向量的平均值来表示文本：Vector(Document) = Average
1.9K100发布于 2018-03-26 - 来自专栏机器学习入门与实战
textRNNtextCNN文本分类
什么是textRNN textRNN指的是利用RNN循环神经网络解决文本分类问题，文本分类是自然语言处理的一个基本任务，试图推断出给定文本(句子、文档等)的标签或标签集合。 文本分类的应用非常广泛，如： 垃圾邮件分类：2分类问题，判断邮件是否为垃圾邮件 情感分析：2分类问题：判断文本情感是积极还是消极；多分类问题：判断文本情感属于{非常消极，消极，中立，积极，非常积极}中的哪一类 新闻主题分类：判断一段新闻属于哪个类别，如财经、体育、娱乐等。根据类别标签的数量，可以是2分类也可以是多分类。 自动问答系统中的问句分类 社区问答系统中的问题分类：多标签多分类(对一段文本进行多分类，该文本可能有多个标签)，如知乎看山杯 让AI做法官：基于案件事实描述文本的罚金等级分类(多分类)和法条分类(多标签多分类 TextRNN在文本分类任务上的效果非常好，与TextCNN不相上下，但RNN的训练速度相对偏慢，一般2层就已经足够多了。 3.
2.7K41发布于 2019-12-05 - 来自专栏爬虫逆向案例
NLTK-007：分类文本（文档情感分类）
word in brown.words(): word = word.lower() suffix_fdist[word[-1:]] +=1 suffix_fdist[word[-2: 分类器在决定如何进行标注时，会完全依赖他们强调的属性。在这个情况下，分类器将只基于一个给定的词拥有（如果有）哪个常见的后缀的信息来做决定。 def pos_features(sentence, i): features = {"suffix(1)": sentence[i][-1:], "suffix(2) ": sentence[i][-2:], "suffix(3)": sentence[i][-3:]} if i == 0: features[" place’, u’.’] pos_features(brown.sents()[0], 8) 输出{‘suffix(3)’: u’ion’, ‘prev-word’: u’an’, ‘suffix(2)
61310发布于 2021-11-22 - 来自专栏PaddlePaddle
【文本分类】基于DNNCNN的情感分类
本周推文目录如下： 周一：【点击率预估】 Wide&deep 点击率预估模型 周二：【文本分类】 基于DNN/CNN的情感分类 周三：【文本分类】 基于双层序列的文本分类模型 周四：【排序学习】 基于 在文本分类任务中，我们以情感分类任务为例，提供了基于DNN的非序列文本分类模型，以及基于CNN的序列模型供大家学习和使用（基于LSTM的模型见PaddleBook中情感分类一课http://www.paddlepaddle.org 简介 文本分类任务根据给定一条文本的内容，判断该文本所属的类别，是自然语言处理领域的一项重要的基础任务。 在本例中，我们继续向大家介绍几种最常用的文本分类模型，它们的能力和复杂程度不同，帮助大家对比学习这些模型学习效果之间的差异，针对不同的场景选择使用。 |2. 我们以情感分类任务为例，简单说明序列模型和非序列模型之间的差异。情感分类是一项常见的文本分类任务，模型自动判断文本中表现出的情感是正向还是负向。
2K40发布于 2018-03-15 - 来自专栏机器学习算法工程师
LSTM文本分类实战
作者：王千发 编辑：龚 赛 什么是文本分类 1 文本分类在文本处理中是很重要的一个模块，它的应用也非常广泛，比如：垃圾过滤，新闻分类，等等。 传统的文本分类方法的流程基本是： 预处理：首先进行分词，然后是除去停用词； 将文本表示成向量，常用的就是文本表示向量空间模型； 进行特征选择，这里的特征就是词语，去掉一些对于分类帮助不大的特征。 常用的特征选择的方法是词频过滤，互信息，信息增益，卡方检验等； 接下来就是构造分类器，在文本分类中常用的分类器一般是SVM，朴素贝叶斯等； 训练分类器，后面只要来一个文本，进行文本表示和特征选择后，就可以得到文本的类别 深度学习进行文本分类 2 回归的目的是预测数值型的目标值。最直接的办法是依据输入写出一个目标值的计算公式。 模型训练最终在3轮之后就收敛了，总共训练数据大概2W条，其中三分之二训练，三分之二测试，准确率在91%左右，这对于短文本分类是一个不错的结果了。
5.1K40发布于 2018-03-06 - 来自专栏全栈程序员必看
文本分类算法综述
文本分类大致有两种方法：一种是基于训练集的文本分类方法；另一种是基于分类词表的文本分类方法。 分类阶段： 1）对于测试文档集合 中的每个待分类文档 ，计算其特征矢量 与每个 之间的相似度 。 2）选取相似度最大的一个类别 作为 的类别。 其中， = 2）对于新文本 ，按下面的公式计算该文本属于类 的概率： 其中， ， 为相似含义， 为类别总数， 为 为特征词总数。 ，具体步骤如下： 训练阶段： 1）首先定义类别集合 这些类别可以是层次式的，也可以是并列式的； 2）然后给出训练文本集合 ，每个训练文本都被标上所属的类别标识 ； 3）提取训练文本集合S中所有文本的特征矢量 ； 2）将新文本表示为特征向量； 3）在训练文本集中选出与新文本最相似的K个文本，计算方法仍为余弦法： 其中，K值的确定目前没有很好的方法，一般采用先定一个初始值，然后根据试验测试的结果调整K值，一般初始值定为几百到数千之间
90920编辑于 2022-06-27 - 来自专栏机器学习AI算法工程
文本自动分类案例（源码）
使用机器学习方法 做文档的自动分类 套路： 1.根据每个文件 生成该文件的一个特征 2.根据特征 选择 分类器 进行文本分类 3. (可选)根据 2 步结果，调整参数/特征等 示例： 数据：搜狗文本分类语料库 精简版 分类器：朴素贝叶斯 编程语言：Python+nltk自然语言处理库+jieba分词库 [python] view plaincopy 1.中文乱码问题，由于这个问题，在stopwords上简单去掉 前100个高频项 数据清洗不足 2.字典的选择上——简单以统计 所有文件词频，选用101-1100 1000个词作字典 我觉得 字典完全可以从 数据上 学习(要比上面方法高明些)，就像在图像处理中 稀疏模型 学习字典(KSVD)一样 自然语言处理/文本处理 中也应该存在这样的方法 3.文件的特征 是[0,0,1,0,0,1,...]并不是统计每个文件的词频 start=0&post=ok#last ） 以 机器学习 的小无相 打了一套 自然语言处理/文本挖掘 的招数 难免有些生硬 望专家指点
1.5K120发布于 2018-03-13 - 来自专栏汇智网教程
Flair实战文本分类
本文将介绍如何使用Flair构建定制的文本分类器。 简介 文本分类是一种用来将语句或文档归入一个或多个分类的有监督机器学习方法，被广泛应用于垃圾邮件过滤、情感分析、新文章归类等众多业务领域。 当前绝大多数领先的文本分类方法都依赖于文本嵌入技术，它将文本转换为高维空间的数值表示，可以将文档、句子、单次或字符表示为这个高维空间的一个向量。 2. 使用训练好的预置分类模型 最新的Flair 0.4版本包含有两个预先训练好的模型。一个基于IMDB数据集训练的情感分析模型和一个攻击性语言探测模型（当前仅支持德语）。 训练自定义文本分类器 要训练一个自定义的文本分类器，首先需要一个标注文本集。 为了对比，我们使用FastText和AutoML训练了一个文本分类器。
1.2K30发布于 2019-03-12 - 来自专栏python3
python实现文本分类
一、中文文本分类流程： 1. 预处理 2. 中文分词 3. 结构化表示-构建词向量空间 4.权重策略-TF-IDF 5. 分类器 6. 评价 二、具体细节 1.预处理 1.1. 得到训练集语料库 本文采用复旦中文文本分类语料库，下载链接：https://download.csdn.net/download/laobai1015/10431543 1.2 得到测试集语料库 同样采用复旦中文文本分类语料库，下载链接：https://download.csdn.net/download/laobai1015/10431564 2. 中文分词 第1小节预处理中的语料库都是没有分词的原始语料（即连续的句子，而后面的工作需要我们把文本分为一个个单词），现在需要对这些文本进行分词，只有这样才能在基于单词的基础上，对文档进行结构化表示 os.makedirs(seg_dir) file_list = os.listdir(class_path) # 获取未分词语料库中某一类别中的所有文本
1.7K20发布于 2020-01-07 - 来自专栏AI科技大本营的专栏
文本分类六十年
然后，文本表示旨在以对计算机来说更容易的形式来表达预处理的文本，并最大程度地减少信息丢失，例如词袋（BOW），N-gram，术语频率倒排文档频率（TF-IDF），word2vec [94]和GloVe TF-IDF使用单词频率并反转文档频率来对文本建模。word2vec使用本地上下文信息来获取单词向量。GloVe -具有局部上下文和全局统计功能-训练单词-单词共现矩阵中的非零元素。 训练模型的性能由下游任务验证，例如情感分类，问题回答和事件预测。在表2中显示了多年来的DNN，包括与相应基本模型，评估指标和实验数据集不同的设计。 如表2所示，前馈神经网络和递归神经网络是用于文本分类任务的前两种深度学习方法，与浅层学习模型相比，它们可以提高性能。然后，将CNN，RNN和注意力机制用于文本分类。 在表2中总结了主要数据集的必要信息，包括类别数，平均句子长度，每个数据集的大小，相关论文和数据地址。 ? 在表4中总结了经典模型在基准数据集上的分类准确度得分，并通过讨论文本分类面临的主要挑战。 ?
1.4K20发布于 2020-12-09
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号