- 综合排序
- 最热优先
- 最新优先
- 来自专栏数据分析与挖掘
机器学习-文本分类（2）-新闻文本分类
（3） ngram_range对模型的影响 n-gram提取词语字符数的下边界和上边界，考虑到中文的用词习惯，ngram_range可以在(1,4)之间选取 f1 = [] for i in range 10000], train_df['label'].values[:10000]) val_pred = reg.predict(train_test[10000:]) print('预测结果中各类新闻数目 '\n F1 score为') print(f1_score(train_df['label'].values[10000:], val_pred, average='macro')) 预测结果中各类新闻数 10000], train_df['label'].values[:10000]) val_pred = reg.predict(train_test[10000:]) print('预测结果中各类新闻数目 10000], train_df['label'].values[:10000]) val_pred = reg.predict(train_test[10000:]) print('预测结果中各类新闻数目
1.2K30发布于 2020-08-26 - 来自专栏马拉松程序员的专栏
数据分类：新闻信息自动分类
这些类别的数量足够多，其次特点都相对的明显一些，虽然'roll'的分类高达658640条，但是从字面意思上看这是滚动新闻，可能是当时采集数据的那一个月的头条新闻，头条新闻类别并不明显，并不利于做分类训练 文件夹的位置与t2_parse.py是同一级目录。 3.拆分训练测试集 上面得到的3000*8条新闻是接下来用于训练和测试的语料库。 ret1 = classifier1.predict(text_string=text_string1) print("新闻1类别：" + ret1[0]) #新闻2实际类别：健康类 ret2 = classifier1.predict(text_string=text_string2) print("新闻2类别：" + ret2[0]) #新闻3实际类别：财经商业类 新闻1类别：sports 新闻2类别：health 新闻3类别：business 新闻4类别：business 从网上找了四段新闻内容，分别为体育、健康、财经、学习类的新闻，当前的多项式朴素贝叶斯分类器预测准确了
1K20编辑于 2023-09-21 - 来自专栏AI智能体从入门到实践
构建AI智能体：中文新闻智能分类：K-Means聚类K与Qwen主题生成的融合应用
2. 提示管理与优化 作用：大模型的应用严重依赖提示（Prompt）。我们可以创建一个“提示库”，并使用 K-Means 对其进行管理和分类。 准备中文新闻标题数据news_titles = [ "股市在经济复苏中创历史新高", "新研究显示地中海饮食对心脏健康的益处", "地方选举结果公布，现任政党保持席位", "科技巨头发布具有先进 ===正在分析簇 #1...簇 #1 主题: 无明显共同主题这些新闻标题分别涉及股市、政治选举和体育赛事，看起来没有正在分析簇 #3...簇 #3 主题: 健康与安全正在分析簇 #2...簇 #2 主题 飓风逼近海岸，居民被敦促撤离--- 簇 #2: 无明显共同主题这些新闻标题分别涉及科技产品发布、自然发现以及公共卫生更新， (包含 8 个标题) --- 1. 科技巨头发布具有先进AI功能的最新智能手机 2. 科学家在亚马逊雨林发现新物种 3. COVID-19疫苗加强针现已向所有成年人开放 4. 苹果发布改进相机系统的新iPhone 5.
38332编辑于 2025-12-01 - 来自专栏xiaosen
新闻主题分类案例
新闻主题分类任务 文本预处理—> 新闻主题分类任务—> 数据加载方式的增补 学习的目标 了解有关新闻主题分类和有关数据. 掌握使用浅层网络构建新闻主题分类器的实现过程. 关于新闻主题分类任务: 以一段新闻报道中的文本描述内容为输入, 使用模型帮助我们判断它最有可能属于哪一种类型的新闻, 这是典型的文本分类问题, 我们这里假定每种类型是互斥的, 即文本描述有且只有一种类型 新闻主题分类数据: 通过torchtext获取数据: # 导入相关的torch工具包 import torch import torchtext # 导入torchtext.datasets中的文本分类任务 , 新闻简述; 其中标签用"1", “2”, “3”, "4"表示, 依次对应classes中的内容 : 以一段新闻报道中的文本描述内容为输入, 使用模型帮助我们判断它最有可能属于哪一种类型的新闻, 这是典型的文本分类问题, 我们这里假定每种类型是互斥的, 即文本描述有且只有一种类型.
59110编辑于 2024-06-03 - 来自专栏某菜鸟の小屋
新闻文本分类
前言 一个很粗糙的新闻文本分类项目，解决中国软件杯第九届新闻文本分类算法的问题，记录了项目的思路及问题解决方法 后续会进一步改进，包括： 丰富训练集的数据，避免军事类、房产类、体育类的新闻数据过少， 展示测试集处理的脚本 showTrain.ipynb —展示训练集处理的脚本 test.py —测试所用的py文件 可跳过 test2. py —项目最终源代码 test2.spec —pyinstaller 打包生成的文件 data hit_stopwords.txt —数据清洗前的源数据 RemdMe.md —项目文件说明 运行dist目录下的test2. 内容 和新闻的类别 — 以下称为 根训练集 测试集 包括 测试的编号 新闻标题 新闻内容 — 以下称为 type.xlsx 需要将预测的结果写入channelName
1.6K20编辑于 2022-11-01 - 来自专栏机器学习AI算法工程
GPT2中文新闻标题生成
向AI转型的程序员都关注了这个号 机器学习AI算法工程 公众号：datayx 项目描述 本项目是一个带有超级详细中文注释的基于GPT2模型的新闻标题生成项目。 本项目提供的新闻标题模型是一个6层的小模型（其实是穷人没人卡，只能训练小模型），并且在训练该模型过程中，没有加载预训练的GPT2模型而是随机初始化的参数，并且训练轮数较少（5轮，还没收敛完），因此效果一般 从网上收集数据，将清华新闻数据、搜狗新闻数据等新闻数据集，以及开源的一些摘要数据进行整理清洗，构建一个较完善的中文摘要数据集。 数据集清洗时，仅进行了简单地规则清洗。 前海征信大数据算法：风险概率预测 【Keras】完整实现‘交通标志’分类、‘票据’分类两个项目，让你掌握深度学习图像分类 VGG16迁移学习，实现医学图像识别分类工程项目 特征工程(一) 特征工程 Machine Learning Yearning 中文翻译稿 蚂蚁金服2018秋招-算法工程师（共四面）通过 全球AI挑战-场景分类的比赛源码(多模型融合) 斯坦福CS230官方指南：CNN、RNN
1.8K50编辑于 2022-08-26 - 来自专栏数据科学和人工智能
数据集 | 中文新闻分词
下载数据集请登录爱数科(www.idatascience.cn) 包含一些中文新闻文本，可用于训练中文自动分词。 1. 字段描述 2. 数据预览 3. 字段诊断信息 4. 数据来源
61620编辑于 2022-03-30 - 来自专栏NLP/KG
Paddlenlp之UIE分类模型【以情感倾向分析新闻分类为例】含智能标注方案）
相关文章： Paddlenlp之UIE模型实战实体抽取任务【打车数据、快递单】 项目连接：百度AIstudio直接fork我的项目就可以复现 Paddlenlp之UIE分类模型【以情感倾向分析新闻分类为例 】含智能标注方案） 0 前言 首先回顾上一个项目： Paddlenlp之UIE模型实战实体抽取任务【打车数据、快递单】 会存在以下问题： 自己样本数据该如何标注 如果样本量大有什么好方法进行智能标注 文本分类任务广泛应用于长短文本分类、情感分析、新闻分类、事件类别分类、政务数据分类、商品信息分类、商品类目预测、文章分类、论文类别分类、专利分类、案件描述分类、罪名分类、意图分类、论文专利分类、邮件自动标签 本人本次主要通过情感分类、新闻分类这个案例分享给大家，主要对开源的paddlenlp的案例进行了细化，官方文档没有涉及具体分类如何去微调，这边给出demo给大家参考，目前看来小样本多分类效果还行，后续我将扩大样本进行完整的测试 以情感倾向分析新闻分类为例】含智能标注方案）
1.2K10编辑于 2022-12-21 - 来自专栏Android、鸿蒙开发
Android 垃圾分类APP（五）垃圾分类新闻展示
垃圾分类新闻展示 前言 正文 一、申请新闻接口数据 二、垃圾分类新闻接口请求 三、轮播显示 四、垃圾分类新闻列表 五、新闻详情页 前言 上一篇文章中完成了图像输入进行垃圾分类，这篇文章进行主页面的 正文 点击天行API，登录之后，找到垃圾分类新闻，点击申请接口。 一、申请新闻接口数据 ? 点击立即申请 ? 申请之后点击立即调试 ? 点击测试请求。 ? 《浙江省生活垃圾管理条例》宣传热度，充分调动全民参与垃圾分类的积极性，推进辖区内垃圾分类工作，4月14日下午，义乌后宅街道金城社区开展垃圾分类积分兑", "source": "垃圾分类新闻" 二、垃圾分类新闻接口请求 我希望在主页面设置一个轮播图，对每天的垃圾分类新闻进行一个轮播，那么首先要完成接口的请求。打开ApiService。 四、垃圾分类新闻列表 上面的演示效果图想必你已经看到了，那么你就会觉得这三个按钮很突兀，显然不是很搭，同时为了丰富主页面的内容会需要在主页面中添加垃圾分类的新闻列表，这样的话我们可以重新设计一下activity_main.xml
1.3K10发布于 2021-04-25 - 来自专栏老秦求学
基于Kears的Reuters新闻分类
构建神经网络将路透社新闻分类，一共有46个类别。因为有多个类别，属于多分类问题，而每条数据只属于一个类别，所以是单标签多分类问题；如果每条数据可以被分到多个类别中，那问题则属于多标签多分类问题。 完整代码 欢迎Fork、Star 路透社数据集 Reuters数据集发布在1986年，一系列短新闻及对应话题的数据集；是文本分类问题最常用的小数据集。 for i in train_data[0]]) #偏移3个：0,1,2保留下标，分别表示：“padding,” “start of sequence,” and “unknown.” 在测试数据上进行预测： predictions = model.predict(x_test) 在预测结果中概率最大的类别就是预测类： np.argmax(predictions[0])#第一条新闻的预测类 小结 N分类问题，网络最后Dense层神经元数目为N； 单标签多分类问题中，最后一层的激活函数为softmax，产生一个包含N类的概率分布； categorical crossentropy是处理单标签多分类问题最常用的损失函数
1.4K40发布于 2018-08-01 - 来自专栏机器学习/数据可视化
深度学习多分类案例：新闻文本分类
深度学习多分类案例：新闻文本分类 作者：Peter 编辑：Peter 大家好，我是Peter~ 这里是机器学习杂货店 Machine Learning Grocery~ 之前介绍过一个单分类的问题。 本文介绍一个基于深度学习的多分类实战案例：新闻文本分类，最终是有46个不同的类别 [e6c9d24egy1h0uaimel9mj20hq08cq36.jpg] <! 个样本 加载数据集 也是内置的数据集 [e6c9d24egy1h0t70a9nqrj21f607ijts.jpg] In 1: from keras.datasets import reuters In 2: [e6c9d24egy1h0uarifdhzj21ht0u00z8.jpg] 我们发现最终上升到了69.2% 进一步实验 尝试使用更多或者更少的隐藏单元，比如32或者128等 改变隐藏层个数，目前是2个 ；可以改成1个或者3个 小结 如果是对N个类别进行分类，最后一层应该是大小为N的Dense层 单标签多分类问题，网络的最后一层使用softmax激活，输出在N个输出类别上的概率分布 损失函数几乎都是分类交叉熵
1.9K00编辑于 2022-04-02 - 来自专栏大数据采集
干货 | 日采100W新闻数据，如何实现新闻自动分类？
在将进行个性化新闻推荐前，有一个非常重要的步骤，就是对新闻内容的分类。 八爪鱼有多年的数据采集和分类经验，帮助过众多新闻行业的客户完成新闻采集和分类的的需求。 ✔ 如何利用计算机完成对大量文本的分类归档？ ✔ 新闻自动分类是怎么做到的，有哪些流程？ 注： 1. 本文只描述比较通用的分类的流程和思想，不涉及具体技术选型和对比； 2. 如何实现新闻的分类？ 常用的词向量类型有 Word2Vec，GloVe 等，根据不同的任务其性能略有差异。 2.
1.9K30发布于 2021-08-17 - 来自专栏大鹅专栏：大数据到机器学习
Python3 使用fastText进行文本分类 新闻分类
这篇论文的模型非常之简单，之前了解过word2vec的同学可以发现这跟CBOW的模型框架非常相似。 image.png 对应上面这个模型，比如输入是一句话，到就是这句话的单词或者是n-gram。 下面提一下论文中的两个tricks： 「hierarchical softmax」 类别数较多时，通过构建一个霍夫曼编码树来加速softmax layer的计算，和之前word2vec中的trick相同 的话会丢掉word order信息，所以通过加入N-gram features进行补充 用hashing来减少N-gram的存储 简介 这篇博客将会简要记录使用python版本的fastText对不同类别新闻进行分类 新闻数据可以使用清华的新闻数据。 train_file.write(outline) # train_file.flush() train_file.close() test_file.close() 分类预测
3.5K21编辑于 2021-12-22 - 来自专栏机器学习入门与实战
SVM、随机森林等分类器对新闻数据进行分类预测
上市公司新闻文本分析与分类预测 基本步骤如下： 从新浪财经、每经网、金融界、中国证券网、证券时报网上，爬取上市公司（个股）的历史新闻文本数据（包括时间、网址、标题、正文） 从Tushare上获取沪深股票日线数据 从历史新闻数据库中抽取与某支股票相关的所有新闻文本，利用该支股票的日线数据（比如某一天发布的消息，在设定N天后如果价格上涨则认为是利好消息，反之则是利空消息）给每条新闻贴上“利好”和“利空”的标签 SVM（或随机森林）分类器对文本分析结果进行训练（如果已保存训练模型，可选择重新训练或直接加载模型），最后利用训练模型对实时抓取的新闻数据进行分类预测 开发环境Python-v3(3.6)： gensim beautifulsoup4==4.6.0 tushare==1.1.1 requests==2.18.4 gevent==1.2.1 * 文本处理(text_processing.py) 文本处理包括去停用词处理、加载新词、中文分词 ，并贴上新的文本标签方便往后训练模型 从数据库中抽取与某支股票相关的所有新闻文本 将贴好标签的历史新闻进行分类训练，利用训练好的模型对实时抓取的新闻文本进行分类预测 * 新闻爬取（crawler_cnstock.py
3K40发布于 2019-11-20 - 来自专栏机器学习AI算法工程
朴素贝叶斯新闻分类器详解
一个具体的机器学习流程是怎么样的呢，下面使用朴素贝叶斯进行新闻分类进行一个完整的介绍。 1、特征表示 ---- 一篇新闻中，可以把新闻中出现的词作为特征向量表示出来，如 X = {昨日，是，国内，投资，市场…} 2、特征选择 ---- 特征中由于一些词对分类没有比较显著的帮助， 朴素贝叶斯本身非常简单，但是很多情况下这种简单的分类模型却很有效，在我对新闻进行分类测试的过程中，很容易就能达到93%以上的准确率，个别分类的精度能达到99%。 模型训练的目标是获得一个概率矩阵： 分类 单词1 单词2 ... ）和评价 ---- 预测部分直接使用朴素贝叶斯公式，计算当前新闻分别属于各个分类的概率，选择概率最大的那个分类输出。
1.7K70发布于 2018-03-13 - 来自专栏机器学习/数据可视化
深度学习实战-新闻文本多分类
深度学习多分类案例：新闻文本多分类 如果每个数据点可以划分到多个类别、多个标签、多个分类下，这就是属于多分类问题了。 本文介绍一个基于深度学习的多分类实战案例：新闻文本分类 数据集 路透社数据集 广泛使用的文本分类数据集：46个不同的主题，即输出有46个类别。 某些样本的主题更多，但是训练集中的每个主题至少有10个样本 加载数据集 也是内置的数据集 In [1]: from keras.datasets import reuters In [2]: # 限制前 ]: (46,) In [33]: predictions[1].shape Out[33]: (46,) In [34]: predictions[50].shape Out[34]: (46,) 2、 ；可以改成1个或者3个 小结 如果是对N个类别进行分类，最后一层应该是大小为N的Dense层 单标签多分类问题，网络的最后一层使用softmax激活，输出在N个输出类别上的概率分布 损失函数几乎都是分类交叉熵
51630编辑于 2023-08-23 - 来自专栏Python和安全那些事
Python人工智能 | 二十一.CNN和Word2Vec中文文本分类详解及与机器学习分类对比
从本专栏开始，作者正式研究Python深度学习、神经网络及人工智能相关知识。前一篇文章分享了Keras实现RNN和LSTM的文本分类算法，并与传统的机器学习分类算法进行对比实验。 这篇文章我们将继续巩固文本分类知识，主要讲解CNN实现中文文本分类的过程，并与贝叶斯、决策树、逻辑回归、随机森林、KNN、SVM等分类算法进行对比。 具体步骤包括： 读取CSV中文文本 调用Jieba库实现中文分词及数据清洗 特征提取采用TF-IDF或Word2Vec词向量表示 基于机器学习的分类 准确率、召回率、F值计算及评估 1.文本分类 (1 1.数据预处理 上一部分我在写机器学习文本分类时，已经介绍了中文分词等预处理操作，为什么这部分还要介绍呢？ 参考作者前文： gensim词向量Word2Vec安装及《庆余年》中文短文本相似度计算 word2vec词向量训练及中文文本相似度计算 如果我们存在一个训练集、一个测试集，如果测试集中不存在某个特征词，
3.8K41编辑于 2023-02-28 - 来自专栏AI算法与图像处理
NLP入门竞赛，搜狗新闻文本分类
搜狗新闻文本分类竞赛 使用keras框架通过构建CNN+BiGRU网络实现在搜狗新闻文本数据集上91+的准确率。 ◆◆ 数据集来源 ◆◆ 该数据集来自若干新闻站点2012年6月—7月期间国内，国际，体育，社会，娱乐等18个频道的新闻数据。 在 FlyAI竞赛平台上 提供了超详细的参考代码，我们可以通过参加搜狗新闻文本分类预测练习赛进行进一步学习和优化。 ◆◆ 代码实现 ◆◆ 1.1、算法流程及实现 算法流程主要分为以下四个部分进行介绍： 1.数据加载 2.构建网络 3.模型训练 1.数据加载 ? ? 2.构建网络 由于是搜狗新闻文本类数据，这里我们可以使用一维卷积Conv1D + BiGRU来构建网络，网络结构如下所示： ? ? ? 运行summary()方法后输出的网络结构如下图： ?
1.2K30发布于 2019-11-14 - 来自专栏深度学习自然语言处理
NLP入门竞赛，搜狗新闻文本分类
◆◆ 数据集来源 ◆◆ 该数据集来自若干新闻站点2012年6月—7月期间国内，国际，体育，社会，娱乐等18个频道的新闻数据。 根据新闻正文内容分析新闻的类别数据集官网链接： http://www.sogou.com/labs/resource/tce.php. 该数据集样例格式如下所示： ? 在 FlyAI竞赛平台上 提供了超详细的参考代码，我们可以通过参加搜狗新闻文本分类预测练习赛进行进一步学习和优化。 ◆◆ 代码实现 ◆◆ 1.1、算法流程及实现 算法流程主要分为以下四个部分进行介绍： 1.数据加载 2.构建网络 3.模型训练 1.数据加载 ? ? 2.构建网络 由于是搜狗新闻文本类数据，这里我们可以使用一维卷积Conv1D + BiGRU来构建网络，网络结构如下所示： ? ? ? 运行summary()方法后输出的网络结构如下图： ?
61130发布于 2019-11-14 - 来自专栏机器学习原理
NLP（2）——中文分词分词的概念分词方法分类CRFHMM分词
2.如何识别未登录词，并判断词性（人物，地点） 解决歧义的方法有很多，使用n_gram模型或者概率统计在解决歧义的作用下很好实现，如下面要介绍的HMM和CRF. 基于词典的分词算法有三个要素,分词词典、扫描方向（正向、逆向）和匹配原则（最大匹配，最小匹配等）[2]。 正向最大匹配算法。 下面就介绍一下最大随机场和隐马可夫模型在中文分词中的应用 CRF 原理 用一句话来解释就是“有序列的分类”。 2）CRF计算的是全局最优解，不是局部最优值。 3）CRF是给定观察序列的条件下，计算整个标记序列的联合概率。而HMM是给定当前状态，计算下一个状态。 4）CRF比较依赖特征的选择和特征函数的格式，并且训练计算量大 示例 这里用的是genius包 Genius是一个开源的python中文分词组件，采用 CRF(Conditional Random
2.4K50发布于 2018-07-24
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号