- 综合排序
- 最热优先
- 最新优先
- 来自专栏机器学习AI算法工程
chatgpt实现NLP基本任务（实体识别、关系抽取、属性抽取、事件抽取、文本分类）
向AI转型的程序员都关注了这个号 基础函数 一、实体识别 抽取文本： 驻港部队从1993年初开始组建，1996年1月28日组建完毕，1997年7月1日0时进驻香港，取代驻港英军接管香港防务，驻港军费均由中央人民政府负担 抽取文本： 糖尿病是一种常见的慢性疾病，主要症状包括多饮、多尿、乏力、体重下降等。 抽取文本： 该款智能手机搭载高通骁龙处理器，内置5000mAh电池，支持快充功能，采用6.5英寸全高清显示屏，照方面具备6400万像素后置摄像头和1600万素前置摄像头。 抽取文本： 当地时间7月5日，俄罗斯铁路公司发布消息表示，俄罗斯铁路网站和移动应用程序遭受大规模黑客攻击。 代码： 结果： 事件类型：黑客攻击 事件论元： 时间-当地时间7月5日 地点-俄罗斯 事件主体-俄罗斯铁路公司 事件客体-俄罗斯铁路网站和移动应用程序 造成影响-大规模黑客攻击 五、文本分类 抽取文本：
60210编辑于 2024-04-25 - 来自专栏进步集
【一起从0开始学习人工智能0x02】字典特征抽取、文本特征抽取、中文文本特征抽取
1.特征提取 特征值化： 特征提取API 字典特征提取---向量化---类别--》one-hot编码 哑变量 one-hot-------直接1234会产生歧义，不公平 应用场景 文本特征提取 实例 中文文本特征抽取 举一个例子，假设变量“职业”的取值分别为：工人、农民、学生、企业职员、其他，5种选项，我们可以增加4个哑变量来代替“职业”这个变量，分别为D1（1=工人/0=非工人）、D2(1=农民/0=非农民)、D3（ data_new) print("看一下特征的名字:\n",transfer.get_feature_names()) 运行结果如下： 看一下转换的结果data_new: (0, 1) 1.0 (0, 3) 100.0 (1, 0) 1.0 (1, 3) 60.0 (2, 2) 1.0 (2, 3) 30.0 看一下特征的名字: [‘city=上海’, ‘city=北京’, ‘city=深圳’, ‘tempreature exit code 0 countVectorizer统计每个样本特征词出现的个数 中文无法用此方法划分，会把一句话当作一个词，可以手动分词解决 借助工具：jieba分词---------结巴 中文文本特征抽取
61520编辑于 2023-01-01 - 来自专栏量子位
如何用Python从海量文本抽取主题？
有一种方法能够替你读海量文章，并将不同的主题和对应的关键词抽取出来，让你谈笑间观其大略。 本文使用Python对超过1000条文本做主题抽取，一步步带你体会非监督机器学习LDA方法的魅力。 在这种模式下，以下的选项3可能会脱颖而出： 据英国《每日邮报》报道，美国一名男子近日试图绑架总统奥巴马夫妇的宠物狗博（Bo），不惜由二千多公里远的北达科他州驱车往华盛顿，但因为走漏风声，被特勤局人员逮捕 下载地址： https://s3-us-west-2.amazonaws.com/notion-static/8426b8d7145a4c898566145621b4b906/datascience.csv 我们此次需要处理的，不是单一文本数据，而是1000多条文本数据，因此我们需要把这项工作并行化。这就需要首先编写一个函数，处理单一文本的分词。 ? 处理的文本都是微信公众号文章，里面可能会有大量的词汇。我们不希望处理所有词汇。因为一来处理时间太长，二来那些很不常用的词汇对我们的主题抽取意义不大。
2.2K70发布于 2018-03-29 - 来自专栏玉树芝兰
如何用Python从海量文本抽取主题？
有一种方法能够替你读海量文章，并将不同的主题和对应的关键词抽取出来，让你谈笑间观其大略。本文使用Python对超过1000条文本做主题抽取，一步步带你体会非监督机器学习LDA方法的魅力。 讲到这里，你大概弄明白了主题抽取的目标了。可是面对浩如烟海的文章，我们怎么能够把相似的文章聚合起来，并且提取描述聚合后主题的重要关键词呢？ 主题抽取有若干方法。 df.shape 执行的结果为： (1024, 3) 行列数都与我们爬取到的数量一致，通过。 下面我们需要做一件重要工作——分词。这是因为我们需要提取每篇文章的关键词。 import jieba 我们此次需要处理的，不是单一文本数据，而是1000多条文本数据，因此我们需要把这项工作并行化。这就需要首先编写一个函数，处理单一文本的分词。 因为一来处理时间太长，二来那些很不常用的词汇对我们的主题抽取意义不大。所以这里做了个限定，只从文本中提取1000个最重要的特征关键词，然后停止。
2.7K20发布于 2018-08-22 - 来自专栏数说戏聊
04.字段抽取拆分&记录抽取1.字段抽取2.字段拆分3.记录抽取
1.字段抽取 根据已知列的开始与结束位置，抽取出新的列 字段截取函数slice(start, stop) slice()函数只能处理字符型数据 start从0开始，取值范围前闭后开。 desktop/4.6/data.csv' ) Out[65]: tel 0 18922254812 1 13522255003 2 13422259938 3 , dtype: object #截取地区数值 areas = df['tel'].str.slice(3, 7) Out[72]: 0 2225 1 2225 2 2225 3 屏幕快照 2018-07-01 19.52.00.png 3.记录抽取 根据一定条件对数据进行抽取 记录抽取函数dataframe[condition] 参数说明：condition 过滤对条件 返回值 ：DataFrame 类似于Excel对过滤功能 3.1 记录抽取常用的条件类型 比较运算：> < >= <= !
1.7K20发布于 2018-08-02 - 来自专栏有三AI
【文本信息抽取与结构化】详聊如何用BERT实现关系抽取
这一点在知识图谱、信息抽取、文本摘要这些任务中格外明显。不同的任务的差异在于目标的转化形式不一样，因而不同的任务难度、处理方式存在差异。 这个系列文章【文本信息抽取与结构化】，在自然语言处理中是非常有用和有难度的技术，是文本处理与知识提取不可或缺的技术。 利用BERT强大的编码能力，预期能够同时抽取到文本中的两种特征。事实上也正是如此，目前效果最好的关系抽取模型正是基于BERT的工作，本片介绍几个利用BERT来做关系抽取的工作。 获取到3个特征之后，如何进行关系分类呢？模型将上述3个特征拼接起来，然后接一个DENSE层，在通过softmax进行分类，具体运算过程如下： ? 这个模型的特点是端到端的实现了实体抽取和关系抽取，同时也能够预测多个关系类别。 总结 文本信息抽取与结构化是目前NLP中最为实际且效益最大的任务，熟悉这个任务是一个NLP算法工程师必需要做的事情。
3.8K10发布于 2020-03-17 - 来自专栏文武兼修ing——机器学习与IC设计
基于sklearn的文本特征抽取理论代码实现
理论 机器学习的样本一般都是特征向量，但是除了特征向量以外经常有非特征化的数据，最常见的就是文本 结构化数据 当某个特征为有限的几个字符串时，可以看成一种结构化数据，处理这种特征的方法一般是将其转为独热码的几个特征
96770发布于 2018-04-27 - 来自专栏流川疯编写程序的艺术
《自然语言处理实战入门》文本检索与信息抽取 ---- 关键词抽取
文章大纲 章节目录 参考文档 ---- 章节目录 《自然语言处理实战入门》 文本检索---- 初探 ---- 常用的检索算法有根据余弦相似度进行检索，Jaccard系数，海灵格-巴塔恰亚距离和BM25相关性评分 （3）海灵格-巴塔恰亚（Hellinger-Bhattacharya）距离（HB距离），也称为海灵格距离或巴塔恰亚距离。巴塔恰亚距离有巴塔恰亚（A.
1K20发布于 2020-08-17 - 来自专栏机器学习/数据可视化
NLP札记3-信息抽取
信息抽取 信息抽取是个宽泛的概念，指的是从非结构化的文本中提取出结构化的信息来的一种技术。 信息抽取（information extraction），即从自然语言文本中，抽取出特定的事件或事实信息，帮助我们将海量内容自动分类、提取和重构。 新词的提取分为： 提取大量的文本（生语料）中的词语，无论新旧 用词典过滤掉已有的词语，得到新的词语 信息熵 信息熵指的是某条消息所含的信息量。不确定性越大，信息量越大。 TextRank实际上就是谷歌的PageTank文本上的应用 PageRank是一种用于排序网页的随机算法。 sentence_list = HanLP.extractSummary(document,3) # 两个参数：文档和所需要的句子数量
1K20发布于 2021-03-02 - 来自专栏share ai happiness
SPERT：一种从文本中抽取关系方法
Pre-trainin 论文链接：https://arxiv.org/abs/1909.07755 论文代码：https://github.com/markus-eberts/spert ---- 任务目标：关系抽取 comedians"） 或者 （"comedians",Director,"xiao ming"） 下面是这个模型整体的架构图： span classification（span分类） 红色方块表示实体 黄色方块表示文本内容
1.8K30发布于 2021-07-23 - 来自专栏TEL18600524535
文本抽取技术：从信息海洋中精准打捞“宝藏”
在信息爆炸的时代，海量的文本数据蕴藏着巨大的价值，但如何从中快速、准确地定位并提取出所需的关键信息？文本抽取技术正是解决这一难题的核心利器。 工作原理：从规则到智能的进化文本抽取的核心目标是从文本中识别并提取预定义类别的信息片段（如人名、地名、机构名、日期、金额、产品名、事件、特定关系等）。 微调后，成为当前文本抽取（特别是 NER 和关系抽取）的 SOTA 方法。它们能有效处理歧义、长距离依赖和复杂语义。 非结构化文本复杂性： 文本可能包含拼写错误、语法错误、缩写、网络用语、特殊符号等噪声。关系抽取的复杂性： 识别实体间的关系需要理解文本语义，涉及逻辑推理（如因果、时序、条件等）。 随着模型能力的持续进化（如大语言模型在零样本/小样本抽取上的突破）以及多模态信息抽取的发展，文本抽取技术将变得更加精准、鲁棒和易用，继续深刻地改变我们获取、理解和利用文本信息的方式，在数字化转型的浪潮中扮演愈发关键的角色
56610编辑于 2025-07-31 - 来自专栏柒八九技术收纳盒
Rust 赋能前端：PDF 分页关键词标注转图片抽取文本抽取图片翻转...
上次呢，我们使用mupdf-js[3]对Pdf进行了一些操作。例如，将PDF转成text/png/svg/html。 例如： '获取元数据' '页数' '结构化文本' '抽取图片' '获取标注信息' '文本查询' '获取文档中超链接' '获取文档大小' 'pdf转图片' '添加文本' '翻转' '截取' '文档分割' 效果展示 结构化文本 我们可以通过toStructuredText来抽离指定页面的文本内容。 ); splitDocuments.push(buffer.asUint8Array()); res(splitDocuments); } }); } 效果展示 3. leafletjs: https://leafletjs.com/ [2] pdfjs-dist: https://www.jsdelivr.com/package/npm/pdfjs-dist [3]
69700编辑于 2025-01-03 - 来自专栏mathor
英文文本关系抽取（fine-tune Huggingface XLNet）
本文主要是基于英文文本关系抽取比赛，讲解如何fine-tune Huggingface的预训练模型，同时可以看作是关系抽取的一个简单案例 数据预览 训练数据包含两列。 第一列是文本，其中<e1></e1>包起来的是第一个实体，<e2></e2>包起来的是第二个实体。 [CLS]位置的输出会做一个10分类，而两个实体对应的输出分别做一个3分类。 sentence_list是个一维的list，里面存了每一行文本。label_list是个一维的list，里面的值是int类型的，就是将原本str类型的label标签转为对应的index。 len(sentences)): encoded_dict = tokenizer.encode_plus( sentences[i], # 输入文本
1.6K20发布于 2020-08-31 - 来自专栏有三AI
【文本信息抽取与结构化】详聊文本的结构化【下】
这个系列文章【文本信息抽取与结构化】，在自然语言处理中是非常有用和有难度的技术，是文本处理与知识提取不可或缺的技术。 本篇介绍如何从非结构的文档中，提取想要的信息，进而结构化文本。 在【文本信息抽取与结构化】详聊文本的结构化【上】中，笔者介绍了文本结构化的意义，并开始介绍了如何进行文本的结构化，介绍了如何定义文本结构化的具体需求以及进行文本的预处理。 @happy.com.cn | 深圳"， "postion":[0,[1,2,3]]， "Typeface":"宋体"， "size":"3" } "简介"：{ "content": 假如简历筛选需要明确如下的信息： 1.名字 2.出生年月 3.联系方式 4.毕业院校 5.最高学历 6.技能 7.编程语言 ... 信息抽取的过程，从上面的JSON字典中抽取这些信息的过程。 ，可以抽取出文本中的实体及关系 3.阅读理解模型： 根据需求，将需要抽取的字段，整理成问答的形式，在语料中标出，训练模型之后，可以抽取出文本中感兴趣的内容。
4K10发布于 2020-02-26 - 来自专栏有三AI
【文本信息抽取与结构化】详聊文本的结构化【上】
这一点在知识图谱、信息抽取、文本摘要这些任务中格外明显。不同的任务的差异在于目标的转化形式不一样，因而不同的任务难度、处理方式存在差异。 这个系列文章【文本信息抽取与结构化】，在自然语言处理中是非常有用和有难度的技术，是文本处理与知识提取不可或缺的技术。 本篇介绍如何从非结构的文档中，提取想要的信息，进而结构化文本。 要用算法处理这些原始文档，通常会面临这些问题： 1.NLP模型无法直接处理PDF等类图像格式的文档； 2.文档有可能篇幅很长，不可能直接将文本内容输入模型进行处理； 3.比较难获取文档中的文档结构信息 文本的预处理过程，是一个复杂且重要的步骤，预处理的效果直接影响后续信息抽取模型的效果。 总结 文本信息抽取与结构化是目前NLP中最为实际且效益最大的任务，熟悉这个任务是一个NLP算法工程师必需要做的事情。
3.9K10发布于 2020-02-19 - 来自专栏有三AI
【文本信息抽取与结构化】深入了解关系抽取你需要知道的东西
这一点在知识图谱、信息抽取、文本摘要这些任务中格外明显。不同的任务的差异在于目标的转化形式不一样，因而不同的任务难度、处理方式存在差异。 这个系列文章【文本信息抽取与结构化】，在自然语言处理中是非常有用和有难度的技术，是文本处理与知识提取不可或缺的技术。 本篇介绍如何从文本中抽取出两个或者多个实体之间的关系，即关系抽取。 作者&编辑 | 小Dream哥 关系抽取概述 在前面的文章中，我们介绍了将文本结构化的大致过程以及信息抽取的、涉及到的技术，却没有介绍具体的技术细节。 接下来我们来全面而细致的介绍相应的技术，今天我们关注关系抽取。 所谓关系抽取，就是抽取文本中两个或者多个实体之间的关系。 例如： 中国的首都是北京 关系抽取即是从上述文本中，抽取出如下的实体关系的任务： <中国，首都，北京> 关系抽取的方法大概有以下几类： 1.基于模板的方法 基于规则 基于依存句法
1.6K20发布于 2020-02-27 - 来自专栏机器学习与统计学
大炮打蚊子，Gemini从PDF抽取结构化文本
所有模型支持至少 100 万输入标记，并支持文本、图像和音频以及函数调用/结构化输出。 这为许多应用场景打开了新的大门，尤其是对于 PDF 文件。 将 PDF 转换为结构化或机器可读的文本一直是一个大问题。如果我们能够将 PDF 文档转换为结构化数据会怎样？这就是 Gemini 2.0 发挥作用的地方。 如果没有，可以从 Google AI Studio 获取： 获取 Gemini API 密钥[3] 。 一个 Pydantic BaseModel[10] genai.types.Schema[11] / Pydantic BaseModel[12] 的字典等价物 让我们来看一个简单的文本示例。 delete: https://googleapis.github.io/python-genai/#delete [9] typing 注释: https://docs.python.org/3/
55510编辑于 2025-07-12 - 来自专栏NLP/KG
1.基于Label studio的训练数据标注指南：信息抽取（实体关系抽取）、文本分类等
文本抽取任务Label Studio使用指南 图片 1.基于Label studio的训练数据标注指南：信息抽取（实体关系抽取）、文本分类等 2.基于Label studio的训练数据标注指南：（智能文档 ）文档抽取任务、PDF、表格、图片抽取标注等 3.基于Label studio的训练数据标注指南：文本分类任务 4.基于Label studio的训练数据标注指南：情感分析任务观点词抽取、属性抽取 目录 文本抽取任务标注 2.1 项目创建 2.2 数据上传 2.3 标签构建 2.4 任务标注 2.5 数据导出 2.6 数据转换 2.7 更多配置 1. 3.然后pip重新安装库即可。 文本抽取任务标注 2.1 项目创建 点击创建（Create）开始创建一个新的项目，填写项目名称、描述，然后选择Object Detection with Bounding Boxes。
3.2K30编辑于 2023-03-03 - 来自专栏机器学习AI算法工程
用Python开始机器学习：文本特征抽取与向量化
这类问题处理的第一步，就是将文本转换为特征。 因此，这章我们只学习第一步，如何从文本中抽取特征，并将其向量化。 比如本文使用的数据集共有2个标签，一个为“net”，一个为“pos”，每个目录下面有6个文本文件。 2、文本特征 如何从这些英文中抽取情感态度而进行分类呢？ 最直观的做法就是抽取单词。通常认为，很多关键词能够反映说话者的态度。 这样，求出每个文档中，每个单词的TF-IDF，就是我们提取得到的文本特征值。 3、向量化 有了上述基础，就能够将文档向量化了。 3、count_vec.fit_transform的结果是一个巨大的矩阵。我们可以看到上表中有大量的0，因此sklearn在内部实现上使用了稀疏矩阵。本例子数据较小。
3.2K140发布于 2018-03-13 - 来自专栏NLP/KG
1.基于Label studio的训练数据标注指南：信息抽取（实体关系抽取）、文本分类等
文本抽取任务Label Studio使用指南 1. 3.然后pip重新安装库即可。 文本抽取任务标注 2.1 项目创建 点击创建（Create）开始创建一个新的项目，填写项目名称、描述，然后选择Object Detection with Bounding Boxes。 填写项目名称、描述 命名实体识别、关系抽取、事件抽取、实体/评价维度分类任务选择Relation Extraction`。 文本分类、句子级情感倾向分类任务选择Text Classification。
3.1K31编辑于 2023-03-07
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号