- 综合排序
- 最热优先
- 最新优先
- 来自专栏机器学习AI算法工程
chatgpt实现NLP基本任务（实体识别、关系抽取、属性抽取、事件抽取、文本分类）
向AI转型的程序员都关注了这个号 基础函数 一、实体识别 抽取文本： 驻港部队从1993年初开始组建，1996年1月28日组建完毕，1997年7月1日0时进驻香港，取代驻港英军接管香港防务，驻港军费均由中央人民政府负担 抽取文本： 糖尿病是一种常见的慢性疾病，主要症状包括多饮、多尿、乏力、体重下降等。 抽取文本： 该款智能手机搭载高通骁龙处理器，内置5000mAh电池，支持快充功能，采用6.5英寸全高清显示屏，照方面具备6400万像素后置摄像头和1600万素前置摄像头。 抽取文本： 当地时间7月5日，俄罗斯铁路公司发布消息表示，俄罗斯铁路网站和移动应用程序遭受大规模黑客攻击。 代码： 结果： 事件类型：黑客攻击 事件论元： 时间-当地时间7月5日 地点-俄罗斯 事件主体-俄罗斯铁路公司 事件客体-俄罗斯铁路网站和移动应用程序 造成影响-大规模黑客攻击 五、文本分类 抽取文本：
60210编辑于 2024-04-25 - 来自专栏进步集
【一起从0开始学习人工智能0x02】字典特征抽取、文本特征抽取、中文文本特征抽取
1.特征提取 特征值化： 特征提取API 字典特征提取---向量化---类别--》one-hot编码 哑变量 one-hot-------直接1234会产生歧义，不公平 应用场景 文本特征提取 实例 中文文本特征抽取 pandas------数据清洗、数据处理 sklearn------对特征处理提供了强大的接口 1.特征提取 比如文章分类 机器学习算法-------统计方法------数学公式 文本类型—》数值 举一个例子，假设变量“职业”的取值分别为：工人、农民、学生、企业职员、其他，5种选项，我们可以增加4个哑变量来代替“职业”这个变量，分别为D1（1=工人/0=非工人）、D2(1=农民/0=非农民)、D3 （1=学生/0=非学生）、D4(1=企业职员/0=非企业职员)，最后一个选项“其他”的信息已经包含在这4个变量中了，所以不需要再增加一个D5（1=其他/0=非其他）了。 exit code 0 countVectorizer统计每个样本特征词出现的个数 中文无法用此方法划分，会把一句话当作一个词，可以手动分词解决 借助工具：jieba分词---------结巴 中文文本特征抽取
61520编辑于 2023-01-01 - 来自专栏量子位
如何用Python从海量文本抽取主题？
有一种方法能够替你读海量文章，并将不同的主题和对应的关键词抽取出来，让你谈笑间观其大略。 本文使用Python对超过1000条文本做主题抽取，一步步带你体会非监督机器学习LDA方法的魅力。 我们此次需要处理的，不是单一文本数据，而是1000多条文本数据，因此我们需要把这项工作并行化。这就需要首先编写一个函数，处理单一文本的分词。 ? 处理的文本都是微信公众号文章，里面可能会有大量的词汇。我们不希望处理所有词汇。因为一来处理时间太长，二来那些很不常用的词汇对我们的主题抽取意义不大。 这里我们先设定为5个分类试试。 ? 把我们的1000多篇向量化后的文章扔给LDA，让它欢快地找主题吧。 另外，不论是5个还是10个主题，可能都不是最优的数量选择。你可以根据程序反馈的结果不断尝试。实际上，可以调节的参数远不止这一个。
2.2K70发布于 2018-03-29 - 来自专栏玉树芝兰
如何用Python从海量文本抽取主题？
有一种方法能够替你读海量文章，并将不同的主题和对应的关键词抽取出来，让你谈笑间观其大略。本文使用Python对超过1000条文本做主题抽取，一步步带你体会非监督机器学习LDA方法的魅力。 讲到这里，你大概弄明白了主题抽取的目标了。可是面对浩如烟海的文章，我们怎么能够把相似的文章聚合起来，并且提取描述聚合后主题的重要关键词呢？ 主题抽取有若干方法。 import jieba 我们此次需要处理的，不是单一文本数据，而是1000多条文本数据，因此我们需要把这项工作并行化。这就需要首先编写一个函数，处理单一文本的分词。 因为一来处理时间太长，二来那些很不常用的词汇对我们的主题抽取意义不大。所以这里做了个限定，只从文本中提取1000个最重要的特征关键词，然后停止。 这里我们先设定为5个分类试试。
2.7K20发布于 2018-08-22 - 来自专栏Android开发指南
5.代码抽取（加载界面）
简单框架的搭建主要就是泛型T和抽象类（让子类去实现）的运用 抽取3中的代码，加载界面逻辑是一样的分别抽取到 BaseFragment和LoadingPage中。
98590发布于 2018-05-14 - 来自专栏有三AI
【文本信息抽取与结构化】详聊如何用BERT实现关系抽取
这一点在知识图谱、信息抽取、文本摘要这些任务中格外明显。不同的任务的差异在于目标的转化形式不一样，因而不同的任务难度、处理方式存在差异。 这个系列文章【文本信息抽取与结构化】，在自然语言处理中是非常有用和有难度的技术，是文本处理与知识提取不可或缺的技术。 利用BERT强大的编码能力，预期能够同时抽取到文本中的两种特征。事实上也正是如此，目前效果最好的关系抽取模型正是基于BERT的工作，本片介绍几个利用BERT来做关系抽取的工作。 实体识别模块 实体抽取模块和我们前面介绍的实体抽取模块基本相同，感兴趣的同学可以看如下的文章： 【NLP-NER】如何使用BERT来做命名实体识别 该模型中差异仅仅在于，文本经过BERT进行特征抽取之后 这个模型的特点是端到端的实现了实体抽取和关系抽取，同时也能够预测多个关系类别。 总结 文本信息抽取与结构化是目前NLP中最为实际且效益最大的任务，熟悉这个任务是一个NLP算法工程师必需要做的事情。
3.8K10发布于 2020-03-17 - 来自专栏文武兼修ing——机器学习与IC设计
基于sklearn的文本特征抽取理论代码实现
理论 机器学习的样本一般都是特征向量，但是除了特征向量以外经常有非特征化的数据，最常见的就是文本 结构化数据 当某个特征为有限的几个字符串时，可以看成一种结构化数据，处理这种特征的方法一般是将其转为独热码的几个特征
96770发布于 2018-04-27 - 来自专栏流川疯编写程序的艺术
《自然语言处理实战入门》文本检索与信息抽取 ---- 关键词抽取
文章大纲 章节目录 参考文档 ---- 章节目录 《自然语言处理实战入门》 文本检索---- 初探 ---- 常用的检索算法有根据余弦相似度进行检索，Jaccard系数，海灵格-巴塔恰亚距离和BM25相关性评分
1K20发布于 2020-08-17 - 来自专栏TEL18600524535
文本抽取技术：从信息海洋中精准打捞“宝藏”
在信息爆炸的时代，海量的文本数据蕴藏着巨大的价值，但如何从中快速、准确地定位并提取出所需的关键信息？文本抽取技术正是解决这一难题的核心利器。 工作原理：从规则到智能的进化文本抽取的核心目标是从文本中识别并提取预定义类别的信息片段（如人名、地名、机构名、日期、金额、产品名、事件、特定关系等）。 微调后，成为当前文本抽取（特别是 NER 和关系抽取）的 SOTA 方法。它们能有效处理歧义、长距离依赖和复杂语义。 非结构化文本复杂性： 文本可能包含拼写错误、语法错误、缩写、网络用语、特殊符号等噪声。关系抽取的复杂性： 识别实体间的关系需要理解文本语义，涉及逻辑推理（如因果、时序、条件等）。 随着模型能力的持续进化（如大语言模型在零样本/小样本抽取上的突破）以及多模态信息抽取的发展，文本抽取技术将变得更加精准、鲁棒和易用，继续深刻地改变我们获取、理解和利用文本信息的方式，在数字化转型的浪潮中扮演愈发关键的角色
56610编辑于 2025-07-31 - 来自专栏share ai happiness
SPERT：一种从文本中抽取关系方法
Pre-trainin 论文链接：https://arxiv.org/abs/1909.07755 论文代码：https://github.com/markus-eberts/spert ---- 任务目标：关系抽取 comedians"） 或者 （"comedians",Director,"xiao ming"） 下面是这个模型整体的架构图： span classification（span分类） 红色方块表示实体 黄色方块表示文本内容
1.8K30发布于 2021-07-23 - 来自专栏柒八九技术收纳盒
Rust 赋能前端：PDF 分页关键词标注转图片抽取文本抽取图片翻转...
例如： '获取元数据' '页数' '结构化文本' '抽取图片' '获取标注信息' '文本查询' '获取文档中超链接' '获取文档大小' 'pdf转图片' '添加文本' '翻转' '截取' '文档分割' 我们还是基于f_cli_f[5]来构建的前端Vite+React+TS项目。 ❝f_cli_f，我们后期打算升级一版，敬请期待。 当我们通过yarn/npm安装好对应的包时。 效果展示 结构化文本 我们可以通过toStructuredText来抽离指定页面的文本内容。 (walk/search等) 效果展示 抽取图片 在pdf.ts中定义如下代码 type imagesType = { bbox: [number, number, number, number]; npm/pdfjs-dist [3] mupdf-js: https://www.npmjs.com/package/mupdf-js [4] mupdf: https://mupdf.com/ [5]
69700编辑于 2025-01-03 - 来自专栏mathor
英文文本关系抽取（fine-tune Huggingface XLNet）
本文主要是基于英文文本关系抽取比赛，讲解如何fine-tune Huggingface的预训练模型，同时可以看作是关系抽取的一个简单案例 数据预览 训练数据包含两列。 第一列是文本，其中<e1></e1>包起来的是第一个实体，<e2></e2>包起来的是第二个实体。 sentence_list是个一维的list，里面存了每一行文本。label_list是个一维的list，里面的值是int类型的，就是将原本str类型的label标签转为对应的index。 len(sentences)): encoded_dict = tokenizer.encode_plus( sentences[i], # 输入文本 len(sentences)): encoded_dict = tokenizer.encode_plus( sentences[i], # 输入文本
1.6K20发布于 2020-08-31 - 来自专栏有三AI
【文本信息抽取与结构化】详聊文本的结构化【下】
这个系列文章【文本信息抽取与结构化】，在自然语言处理中是非常有用和有难度的技术，是文本处理与知识提取不可或缺的技术。 本篇介绍如何从非结构的文档中，提取想要的信息，进而结构化文本。 在【文本信息抽取与结构化】详聊文本的结构化【上】中，笔者介绍了文本结构化的意义，并开始介绍了如何进行文本的结构化，介绍了如何定义文本结构化的具体需求以及进行文本的预处理。 ， "postion":[1,[4，5，6]]， "Typeface":"宋体"， "size":"2" }, "教育经历":{ "content":"中国科学院|教育部快乐人生研究重点实验室 假如简历筛选需要明确如下的信息： 1.名字 2.出生年月 3.联系方式 4.毕业院校 5.最高学历 6.技能 7.编程语言 ... 信息抽取的过程，从上面的JSON字典中抽取这些信息的过程。 ，可以抽取出文本中的实体及关系 3.阅读理解模型： 根据需求，将需要抽取的字段，整理成问答的形式，在语料中标出，训练模型之后，可以抽取出文本中感兴趣的内容。
4K10发布于 2020-02-26 - 来自专栏有三AI
【文本信息抽取与结构化】详聊文本的结构化【上】
这一点在知识图谱、信息抽取、文本摘要这些任务中格外明显。不同的任务的差异在于目标的转化形式不一样，因而不同的任务难度、处理方式存在差异。 这个系列文章【文本信息抽取与结构化】，在自然语言处理中是非常有用和有难度的技术，是文本处理与知识提取不可或缺的技术。 本篇介绍如何从非结构的文档中，提取想要的信息，进而结构化文本。 ：曾发行数张音乐唱片，创作N首原创歌曲；参演5部电影，自导自演2部。 文本的预处理过程，是一个复杂且重要的步骤，预处理的效果直接影响后续信息抽取模型的效果。 总结 文本信息抽取与结构化是目前NLP中最为实际且效益最大的任务，熟悉这个任务是一个NLP算法工程师必需要做的事情。
3.9K10发布于 2020-02-19 - 来自专栏有三AI
【文本信息抽取与结构化】深入了解关系抽取你需要知道的东西
这个系列文章【文本信息抽取与结构化】，在自然语言处理中是非常有用和有难度的技术，是文本处理与知识提取不可或缺的技术。 本篇介绍如何从文本中抽取出两个或者多个实体之间的关系，即关系抽取。 作者&编辑 | 小Dream哥 关系抽取概述 在前面的文章中，我们介绍了将文本结构化的大致过程以及信息抽取的、涉及到的技术，却没有介绍具体的技术细节。 接下来我们来全面而细致的介绍相应的技术，今天我们关注关系抽取。 所谓关系抽取，就是抽取文本中两个或者多个实体之间的关系。 例如： 中国的首都是北京 关系抽取即是从上述文本中，抽取出如下的实体关系的任务： <中国，首都，北京> 关系抽取的方法大概有以下几类： 1.基于模板的方法 基于规则 基于依存句法 基于传统机器学习方法的标准流程是： 1.预先定义好想提取的关系集合 2.定义或选择相关的命名实体集合 3.寻找并标注数据 4.选择有代表性的语料库 5.命名实体标记 6.实体间的关系标注 7.分词训练、
1.6K20发布于 2020-02-27 - 来自专栏机器学习与统计学
大炮打蚊子，Gemini从PDF抽取结构化文本
所有模型支持至少 100 万输入标记，并支持文本、图像和音频以及函数调用/结构化输出。 这为许多应用场景打开了新的大门，尤其是对于 PDF 文件。 将 PDF 转换为结构化或机器可读的文本一直是一个大问题。如果我们能够将 PDF 文档转换为结构化数据会怎样？这就是 Gemini 2.0 发挥作用的地方。 # or "gemini-2.0-flash-lite-preview-02-05" , "gemini-2.0-pro-exp-02-05" 注意：如果您想使用 Vertex AI，请参阅这里[5] 一个 Pydantic BaseModel[10] genai.types.Schema[11] / Pydantic BaseModel[12] 的字典等价物 让我们来看一个简单的文本示例。 Gemini API 密钥: https://aistudio.google.com/app/apikey [4] 免费套餐: https://ai.google.dev/pricing#2_0flash [5]
55510编辑于 2025-07-12 - 来自专栏NLP/KG
1.基于Label studio的训练数据标注指南：信息抽取（实体关系抽取）、文本分类等
文本抽取任务Label Studio使用指南 图片 1.基于Label studio的训练数据标注指南：信息抽取（实体关系抽取）、文本分类等 2.基于Label studio的训练数据标注指南：（智能文档 ）文档抽取任务、PDF、表格、图片抽取标注等 3.基于Label studio的训练数据标注指南：文本分类任务 4.基于Label studio的训练数据标注指南：情感分析任务观点词抽取、属性抽取 目录 文本抽取任务标注 2.1 项目创建 2.2 数据上传 2.3 标签构建 2.4 任务标注 2.5 数据导出 2.6 数据转换 2.7 更多配置 1. 文本抽取任务标注 2.1 项目创建 点击创建（Create）开始创建一个新的项目，填写项目名称、描述，然后选择Object Detection with Bounding Boxes。 该参数只对训练集有效，默认为5。为了保证评估指标的准确性，验证集和测试集默认构造全负例。 splits: 划分数据集时训练集、验证集所占的比例。
3.2K30编辑于 2023-03-03 - 来自专栏机器学习AI算法工程
用Python开始机器学习：文本特征抽取与向量化
这类问题处理的第一步，就是将文本转换为特征。 因此，这章我们只学习第一步，如何从文本中抽取特征，并将其向量化。 比如本文使用的数据集共有2个标签，一个为“net”，一个为“pos”，每个目录下面有6个文本文件。 2、文本特征 如何从这些英文中抽取情感态度而进行分类呢？ 最直观的做法就是抽取单词。通常认为，很多关键词能够反映说话者的态度。 比如单词“movie“一共出现了5次，而文档总数为12，因此IDF为ln(5/12)。 很显然，IDF是为了凸显那种出现的少，但是占有强烈感情色彩的词语。 比如“movie”这样的词的IDF=ln(12/5)=0.88，远小于“love”的IDF=ln(12/1)=2.48。 TF-IDF就是把二者简单的乘在一起即可。
3.2K140发布于 2018-03-13 - 来自专栏NLP/KG
1.基于Label studio的训练数据标注指南：信息抽取（实体关系抽取）、文本分类等
文本抽取任务Label Studio使用指南 1. 1.7.1 pip install label-studio #安装过程报错ERROR: Could not install packages due to an OSError: [WinError 5] 文本抽取任务标注 2.1 项目创建 点击创建（Create）开始创建一个新的项目，填写项目名称、描述，然后选择Object Detection with Bounding Boxes。 文本分类、句子级情感倾向分类任务选择Text Classification。 该参数只对训练集有效，默认为5。为了保证评估指标的准确性，验证集和测试集默认构造全负例。 splits: 划分数据集时训练集、验证集所占的比例。
3.1K31编辑于 2023-03-07 拯救重复劳动：无代码实现 Markdown文本抽取与切分
其主要技术思想是，将文件中的数据抽取并合理切分后，转换为向量存储在拥有向量检索能力的数据库中。当有使用者提出问题时，将问题转换为向量并从向量库中检索出与问题相关的文档块信息。 故建议将所有其它类型的结构文件都统一转为Markdown结构后再进行文本抽取和切分。下面，我们就介绍下如何使用HuggingFists系统无代码实现Markdown中数据的抽取与切分。 Markdown章节拆分算子的属性含义如下：块大小：缺省值为-1，表示按照章节标题进行自然的拆分抽取。若该值不等于-1，表示按照设置的块大小和自然章节一起拆分文本块。 以便拆分文本块时可以保留上下两个文本块可能存在的语义连贯性。下面我们看一下流程的执行结果。 在只按章节拆分的结果中，我们可以看到每个章节被抽到了1个文本块中。而在按章节+分块的结果中，我们可以看到，文本块比较大的章节按照块大小的设置，被拆分为了多个小的文本块。
45410编辑于 2025-07-29
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号