- 综合排序
- 最热优先
- 最新优先
- 来自专栏机器学习AI算法工程
chatgpt实现NLP基本任务（实体识别、关系抽取、属性抽取、事件抽取、文本分类）
向AI转型的程序员都关注了这个号 基础函数 一、实体识别 抽取文本： 驻港部队从1993年初开始组建，1996年1月28日组建完毕，1997年7月1日0时进驻香港，取代驻港英军接管香港防务，驻港军费均由中央人民政府负担 抽取文本： 糖尿病是一种常见的慢性疾病，主要症状包括多饮、多尿、乏力、体重下降等。 抽取文本： 该款智能手机搭载高通骁龙处理器，内置5000mAh电池，支持快充功能，采用6.5英寸全高清显示屏，照方面具备6400万像素后置摄像头和1600万素前置摄像头。 抽取文本： 当地时间7月5日，俄罗斯铁路公司发布消息表示，俄罗斯铁路网站和移动应用程序遭受大规模黑客攻击。 代码： 结果： 事件类型：黑客攻击 事件论元： 时间-当地时间7月5日 地点-俄罗斯 事件主体-俄罗斯铁路公司 事件客体-俄罗斯铁路网站和移动应用程序 造成影响-大规模黑客攻击 五、文本分类 抽取文本：
60210编辑于 2024-04-25 - 来自专栏进步集
【一起从0开始学习人工智能0x02】字典特征抽取、文本特征抽取、中文文本特征抽取
1.特征提取 特征值化： 特征提取API 字典特征提取---向量化---类别--》one-hot编码 哑变量 one-hot-------直接1234会产生歧义，不公平 应用场景 文本特征提取 实例 中文文本特征抽取 pandas------数据清洗、数据处理 sklearn------对特征处理提供了强大的接口 1.特征提取 比如文章分类 机器学习算法-------统计方法------数学公式 文本类型—》数值 类型-------》数值 任意数据-----------》用于机器学习的数字特征 特征值化： 字典特征提取---------特征离散化 文本特征提取 图像特征提取---------深度学习 特征提取 3 2 2 0] [1 0 0 2 2 2 2 1]] Process finished with exit code 0 countVectorizer统计每个样本特征词出现的个数 中文无法用此方法划分 ，会把一句话当作一个词，可以手动分词解决 借助工具：jieba分词---------结巴 中文文本特征抽取—jieba结巴 import sklearn.feature_extraction.text
61520编辑于 2023-01-01 - 来自专栏量子位
如何用Python从海量文本抽取主题？
有一种方法能够替你读海量文章，并将不同的主题和对应的关键词抽取出来，让你谈笑间观其大略。 本文使用Python对超过1000条文本做主题抽取，一步步带你体会非监督机器学习LDA方法的魅力。 选项2： 1989年夏天，奥巴马在西德利·奥斯汀律师事务所担任暑期工读生期间，结识当时已是律师的米歇尔·鲁滨逊。 讲到这里，你大概弄明白了主题抽取的目标了。可是面对浩如烟海的文章，我们怎么能够把相似的文章聚合起来，并且提取描述聚合后主题的重要关键词呢？ 主题抽取有若干方法。 我们此次需要处理的，不是单一文本数据，而是1000多条文本数据，因此我们需要把这项工作并行化。这就需要首先编写一个函数，处理单一文本的分词。 ? 处理的文本都是微信公众号文章，里面可能会有大量的词汇。我们不希望处理所有词汇。因为一来处理时间太长，二来那些很不常用的词汇对我们的主题抽取意义不大。
2.2K70发布于 2018-03-29 - 来自专栏玉树芝兰
如何用Python从海量文本抽取主题？
有一种方法能够替你读海量文章，并将不同的主题和对应的关键词抽取出来，让你谈笑间观其大略。本文使用Python对超过1000条文本做主题抽取，一步步带你体会非监督机器学习LDA方法的魅力。 讲到这里，你大概弄明白了主题抽取的目标了。可是面对浩如烟海的文章，我们怎么能够把相似的文章聚合起来，并且提取描述聚合后主题的重要关键词呢？ 主题抽取有若干方法。 import jieba 我们此次需要处理的，不是单一文本数据，而是1000多条文本数据，因此我们需要把这项工作并行化。这就需要首先编写一个函数，处理单一文本的分词。 执行完毕之后，我们需要查看一下，文本是否已经被正确分词。 因为一来处理时间太长，二来那些很不常用的词汇对我们的主题抽取意义不大。所以这里做了个限定，只从文本中提取1000个最重要的特征关键词，然后停止。
2.7K20发布于 2018-08-22 - 来自专栏数说戏聊
04.字段抽取拆分&记录抽取1.字段抽取2.字段拆分3.记录抽取
1.字段抽取 根据已知列的开始与结束位置，抽取出新的列 字段截取函数slice(start, stop) slice()函数只能处理字符型数据 start从0开始，取值范围前闭后开。 users/bakufu/desktop/4.6/data.csv' ) Out[65]: tel 0 18922254812 1 13522255003 2 `函数将数据转换为str型，并重新赋给原值 df['tel'] = df['tel'].astype(str) Out[68]: 0 18922254812 1 13522255003 2 屏幕快照 2018-07-01 19.52.00.png 3.记录抽取 根据一定条件对数据进行抽取 记录抽取函数dataframe[condition] 参数说明：condition 过滤对条件 返回值 ：DataFrame 类似于Excel对过滤功能 3.1 记录抽取常用的条件类型 比较运算：> < >= <= !
1.7K20发布于 2018-08-02 - 来自专栏有三AI
【文本信息抽取与结构化】详聊如何用BERT实现关系抽取
这一点在知识图谱、信息抽取、文本摘要这些任务中格外明显。不同的任务的差异在于目标的转化形式不一样，因而不同的任务难度、处理方式存在差异。 这个系列文章【文本信息抽取与结构化】，在自然语言处理中是非常有用和有难度的技术，是文本处理与知识提取不可或缺的技术。 利用BERT强大的编码能力，预期能够同时抽取到文本中的两种特征。事实上也正是如此，目前效果最好的关系抽取模型正是基于BERT的工作，本片介绍几个利用BERT来做关系抽取的工作。 2. 关系分类模块 我们重点来看关系抽取的模块，该模块的输入由2个部分组成：实体抽取信息以及BERT编码信息。将实体抽取模块输出的BIOES类别信息，编码成固定维度的向量。 这个模型的特点是端到端的实现了实体抽取和关系抽取，同时也能够预测多个关系类别。 总结 文本信息抽取与结构化是目前NLP中最为实际且效益最大的任务，熟悉这个任务是一个NLP算法工程师必需要做的事情。
3.8K10发布于 2020-03-17 - 来自专栏文武兼修ing——机器学习与IC设计
基于sklearn的文本特征抽取理论代码实现
理论 机器学习的样本一般都是特征向量，但是除了特征向量以外经常有非特征化的数据，最常见的就是文本 结构化数据 当某个特征为有限的几个字符串时，可以看成一种结构化数据，处理这种特征的方法一般是将其转为独热码的几个特征
96770发布于 2018-04-27 - 来自专栏流川疯编写程序的艺术
《自然语言处理实战入门》文本检索与信息抽取 ---- 关键词抽取
文章大纲 章节目录 参考文档 ---- 章节目录 《自然语言处理实战入门》 文本检索---- 初探 ---- 常用的检索算法有根据余弦相似度进行检索，Jaccard系数，海灵格-巴塔恰亚距离和BM25相关性评分 适合word2vec模型向量化的数据。 （2）Jaccard（杰卡德）相似性系数，主要用于计算符号度量或布尔值度量的样本间的相似度。 海灵格-巴塔恰亚距离的数学定义为： 其中 hdb(u,v) 表示文档向量 u 和 v 之间的海灵格-巴塔恰亚距离，并且它等于向量的平方根差的欧几里得或 L2 范数除以 2 的平方根。
1K20发布于 2020-08-17 - 来自专栏Android开发指南
2.抽取代码(BaseActivity)
同步的用法 字符数组 工厂模式，生产fatgment，解决了碎片重复创建的问题 全局上下文 actionbar用法 fargmentadapter，当viewpager里是fargment的话更方便 1.抽取 protected void initActionBar() { } protected void initView() { } protected void init() { } } 2. String query) { Toast.makeText(getApplicationContext(), query, 0).show(); return true; } // 当搜索的文本发生变化 return BaseApplication.getApplication().getResources(); } /** dip转换px */ public static int dip2px HomeFragment(); } else if (position == 1) { fragment = new AppFragment(); } else if (position == 2)
85680发布于 2018-05-14 - 来自专栏Android开发指南
2.抽取代码(BaseActivity)
同步的用法 字符数组 工厂模式，生产fatgment，解决了碎片重复创建的问题 全局上下文 actionbar用法 fargmentadapter，当viewpager里是fargment的话更方便 1.抽取 void initActionBar() { } protected void initView() { } protected void init() { } } 2. String query) { Toast.makeText(getApplicationContext(), query, 0).show(); return true; } // 当搜索的文本发生变化 density; return (int) (dip * scale + 0.5f); } /** pxz转换dip */ public static int px2dip (position == 1) { fragment = new AppFragment(); } else if (position == 2)
45720编辑于 2022-01-17 - 来自专栏TEL18600524535
文本抽取技术：从信息海洋中精准打捞“宝藏”
在信息爆炸的时代，海量的文本数据蕴藏着巨大的价值，但如何从中快速、准确地定位并提取出所需的关键信息？文本抽取技术正是解决这一难题的核心利器。 工作原理：从规则到智能的进化文本抽取的核心目标是从文本中识别并提取预定义类别的信息片段（如人名、地名、机构名、日期、金额、产品名、事件、特定关系等）。 基于深度学习：词嵌入： 将词表示为稠密向量（如 Word2Vec, GloVe），捕捉语义和语法相似性。循环神经网络： 特别是 LSTM 和 GRU，擅长处理序列数据，能捕捉长距离依赖。 微调后，成为当前文本抽取（特别是 NER 和关系抽取）的 SOTA 方法。它们能有效处理歧义、长距离依赖和复杂语义。 随着模型能力的持续进化（如大语言模型在零样本/小样本抽取上的突破）以及多模态信息抽取的发展，文本抽取技术将变得更加精准、鲁棒和易用，继续深刻地改变我们获取、理解和利用文本信息的方式，在数字化转型的浪潮中扮演愈发关键的角色
56610编辑于 2025-07-31 - 来自专栏share ai happiness
SPERT：一种从文本中抽取关系方法
Pre-trainin 论文链接：https://arxiv.org/abs/1909.07755 论文代码：https://github.com/markus-eberts/spert ---- 任务目标：关系抽取 comedians"） 或者 （"comedians",Director,"xiao ming"） 下面是这个模型整体的架构图： span classification（span分类） 红色方块表示实体 黄色方块表示文本内容 和长度超过10的span（太长的不可能是实体） relation classification（关系分类） 在两个相邻的实体之间，通过BERT和max-pooling，我们获得一个语义嵌入c(S1,S2) 关系是不对称的，所以考虑S1和S2的顺序，通过两个单位向量进行处理 两者经过一个单层的分类器， 表示sigmoid函数 定义一个临界值 ，比较y和 的值来确定x是否是实体关系三元组
1.8K30发布于 2021-07-23 - 来自专栏柒八九技术收纳盒
Rust 赋能前端：PDF 分页关键词标注转图片抽取文本抽取图片翻转...
前言 从上次发文SSE打扮你的AI应用，让它美美哒已经差不多过了快2个月了。 这期间呢，发生了很多事情。 足足有8周的时间。 也就是说，我们无法直接使用iframe亦或者pdfjs-dist[2]等PDF常规解决方案来实现上述操作。 例如： '获取元数据' '页数' '结构化文本' '抽取图片' '获取标注信息' '文本查询' '获取文档中超链接' '获取文档大小' 'pdf转图片' '添加文本' '翻转' '截取' '文档分割' 我们就可以在pages新建一个Pdf2Img的目录。 效果展示 结构化文本 我们可以通过toStructuredText来抽离指定页面的文本内容。
69700编辑于 2025-01-03 - 来自专栏mathor
英文文本关系抽取（fine-tune Huggingface XLNet）
本文主要是基于英文文本关系抽取比赛，讲解如何fine-tune Huggingface的预训练模型，同时可以看作是关系抽取的一个简单案例 数据预览 训练数据包含两列。 第一列是文本，其中<e1></e1>包起来的是第一个实体，<e2></e2>包起来的是第二个实体。 return name_list, sentence_list, label_list, classes_list, num_classes name_list是个一维的list，里面存了每一行文本中两个实体的名称 sentence_list是个一维的list，里面存了每一行文本。label_list是个一维的list，里面的值是int类型的，就是将原本str类型的label标签转为对应的index。 len(sentences)): encoded_dict = tokenizer.encode_plus( sentences[i], # 输入文本
1.6K20发布于 2020-08-31 - 来自专栏有三AI
【文本信息抽取与结构化】详聊文本的结构化【下】
在【文本信息抽取与结构化】详聊文本的结构化【上】中，笔者介绍了文本结构化的意义，并开始介绍了如何进行文本的结构化，介绍了如何定义文本结构化的具体需求以及进行文本的预处理。 JSON中，每一个对象中包含了4个字段，包括 "content"：表示这个对象的文本内容 "postion"，表示这个对象在文本中的位置 "Typeface"，表示文本的字体 "size":"2"，表示文本的字体大小 假如简历筛选需要明确如下的信息： 1.名字 2.出生年月 3.联系方式 4.毕业院校 5.最高学历 6.技能 7.编程语言 ... 信息抽取的过程，从上面的JSON字典中抽取这些信息的过程。 信息抽取模型大概有一下几种 1.实体识别模型： 通过序列标注将需要的字段在语料中标出，训练模型后，可以抽取出文本中的字段及类别 2.关系抽取模型： 根据需求，定义实体之间的关系，在语料中标出，训练模型后 ，可以抽取出文本中的实体及关系 3.阅读理解模型： 根据需求，将需要抽取的字段，整理成问答的形式，在语料中标出，训练模型之后，可以抽取出文本中感兴趣的内容。
4K10发布于 2020-02-26 - 来自专栏有三AI
【文本信息抽取与结构化】详聊文本的结构化【上】
这一点在知识图谱、信息抽取、文本摘要这些任务中格外明显。不同的任务的差异在于目标的转化形式不一样，因而不同的任务难度、处理方式存在差异。 这个系列文章【文本信息抽取与结构化】，在自然语言处理中是非常有用和有难度的技术，是文本处理与知识提取不可或缺的技术。 本篇介绍如何从非结构的文档中，提取想要的信息，进而结构化文本。 2 文本如何结构化 文本的结构化是一个相当复杂的工程问题，通常情况下，办公或者生产过程中出现的文本为word、PDF等有一定段落结构和篇幅的文档。 文本的预处理过程，是一个复杂且重要的步骤，预处理的效果直接影响后续信息抽取模型的效果。 总结 文本信息抽取与结构化是目前NLP中最为实际且效益最大的任务，熟悉这个任务是一个NLP算法工程师必需要做的事情。
3.9K10发布于 2020-02-19 - 来自专栏小馒头学Python
第2章 知识抽取：概述、方法
文章目录知识抽取的概述知识抽取的任务知识抽取的方法面向结构化数据直接映射R2RML映射面向半结构化数据面向非结构化数据博学之，审问之，慎思之，明辨之，笃行之。 下面我们以关系型数据库为例子接下来我们来看看针对上图的抽取方法中的直接映射和R2RML映射直接映射直接映射通过明确在关系模式中编码的语义，将关系数据转换为RDF，如下按照一些简单的规则创建URI进行映射 映射R2RML映射是将逻辑表作为输入，然后依据三元组映射规则将其转换成三元组的集合。 实体抽取：单纯的实体抽取可以看成是一个序列标注问题，可以采用HMM、CRF、LSTM等算法解决利用机器学习方法进行实体抽取的基本流程如下：输入可供训练、具有代表性的文本数据找出文本中的指称词语（Token ：指的是从非结构化文本中抽取出两个或多个实体之间的语义关系。
1.1K10编辑于 2024-04-29 - 来自专栏有三AI
【文本信息抽取与结构化】深入了解关系抽取你需要知道的东西
这一点在知识图谱、信息抽取、文本摘要这些任务中格外明显。不同的任务的差异在于目标的转化形式不一样，因而不同的任务难度、处理方式存在差异。 这个系列文章【文本信息抽取与结构化】，在自然语言处理中是非常有用和有难度的技术，是文本处理与知识提取不可或缺的技术。 本篇介绍如何从文本中抽取出两个或者多个实体之间的关系，即关系抽取。 作者&编辑 | 小Dream哥 关系抽取概述 在前面的文章中，我们介绍了将文本结构化的大致过程以及信息抽取的、涉及到的技术，却没有介绍具体的技术细节。 接下来我们来全面而细致的介绍相应的技术，今天我们关注关系抽取。 所谓关系抽取，就是抽取文本中两个或者多个实体之间的关系。 例如： 中国的首都是北京 关系抽取即是从上述文本中，抽取出如下的实体关系的任务： <中国，首都，北京> 关系抽取的方法大概有以下几类： 1.基于模板的方法 基于规则 基于依存句法
1.6K20发布于 2020-02-27 - 来自专栏机器学习与统计学
大炮打蚊子，Gemini从PDF抽取结构化文本
所有模型支持至少 100 万输入标记，并支持文本、图像和音频以及函数调用/结构化输出。 这为许多应用场景打开了新的大门，尤其是对于 PDF 文件。 将 PDF 转换为结构化或机器可读的文本一直是一个大问题。如果我们能够将 PDF 文档转换为结构化数据会怎样？这就是 Gemini 2.0 发挥作用的地方。 设置环境并创建推理客户端 第一步是安装 google-genaiPython SDK[2] 并获取 API 密钥。 对于这个示例，您有 2 个 PDF 样本，一个是基本发票，另一个是带有手写值的表单。 ! 一个 Pydantic BaseModel[10] genai.types.Schema[11] / Pydantic BaseModel[12] 的字典等价物 让我们来看一个简单的文本示例。
55510编辑于 2025-07-12 - 来自专栏NLP/KG
1.基于Label studio的训练数据标注指南：信息抽取（实体关系抽取）、文本分类等
文本抽取任务Label Studio使用指南 图片 1.基于Label studio的训练数据标注指南：信息抽取（实体关系抽取）、文本分类等 2.基于Label studio的训练数据标注指南：（智能文档 ）文档抽取任务、PDF、表格、图片抽取标注等 3.基于Label studio的训练数据标注指南：文本分类任务 4.基于Label studio的训练数据标注指南：情感分析任务观点词抽取、属性抽取 目录 安装 2. 文本抽取任务标注 2.1 项目创建 2.2 数据上传 2.3 标签构建 2.4 任务标注 2.5 数据导出 2.6 数据转换 2.7 更多配置 1. 2.到提示的目录site-packages下删除~ip开头的目录。 3.然后pip重新安装库即可。 图片 2. 文本抽取任务标注 2.1 项目创建 点击创建（Create）开始创建一个新的项目，填写项目名称、描述，然后选择Object Detection with Bounding Boxes。
3.2K30编辑于 2023-03-03
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号