- 综合排序
- 最热优先
- 最新优先
- 来自专栏爬虫资料
NLP助力非结构化文本抽取：实体关系提取实战
一、关键数据分析：微博热帖背后的隐含网络微博每天产生数百万条内容，这些内容天然包含了大量非结构化文本信息，包括人物、品牌、事件、观点等实体以及它们之间的复杂关系。 为了实现“自动识别+归类分析”，我们采用如下实体-关系抽取流程： 目标数据结构化示例：发帖用户内容摘要评论情感实体1关系实体2用户A小米汽车上市首日大涨正面小米发布汽车用户B华为和荣耀又要打擂台？ ────────────┐ │ 数据结构化&可视化 │（保存至CSV/图谱生成） └─────────────────┘三、完整代码演变：从采集到结构化抽取以下为主要实现代码 ，已集成爬虫代理设置、实体识别与关系抽取，适合初学者调试和项目集成。 → 实体关系 → 情感标注」的完整流程，验证了中文非结构化文本的NLP实战价值。
51210编辑于 2025-05-27 - 来自专栏通用文字识别信息技术白皮书
文档信息抽取技术：从非结构化文本到结构化信息的旅程
文档信息抽取技术是一种将非结构化文本转化为结构化信息的技术。这种技术可以从各类文档中自动提取出如实体、关系和其他重要信息，并将它们转化为方便计算机进一步处理和分析的格式。 、结构化和一致的数据基础。 3.关系抽取：不仅仅是关注孤立的实体，更重要的是理解它们之间的动态交互和联系。例如，从“Apple”(公司)发布了“iPhone”(产品)中，我们不仅识别出了两个实体，还抽取了它们之间的“发布”关系。 为了实现这一目标，不仅有Transformer-based模型如BERT及其衍生品，还有专门为关系抽取任务设计的模型和框架，如RelationBERT。 总的来说，错误处理与容错机制旨在建立一个强大、适应性强和可靠的系统，能够在复杂、嘈杂的数据环境中持续提供高质量的信息抽取。
2.3K10编辑于 2023-09-22 - 来自专栏钛问题
利用bert系列预训练模型在非结构化数据抽取数据
https://github.com/bojone/bert4keras 中文数据中有一个数据是从非结构化文本中找到演艺圈相关实体的任务。 数据集是百度公开的一个数据集。 dataset=sked 今天这个文章主要讲的就是，怎么从非结构化文本中抽取出我们希望得到的结构化数据的任务。 下面是当前数据集中的例子，就是这样子。 的模块是bert4keras 安装bert4keras pip install git+https://www.github.com/bojone/bert4keras.git 训练代码如下 三元组抽取任务 self.spox == spo.spox def evaluate(data): """评估函数，计算f1、precision、recall """ X, Y, Z = 1e-10 , 1e-10, 1e-10 f = codecs.open('dev_pred.json', 'w', encoding='utf-8') pbar = tqdm() for
2.4K00发布于 2020-01-03 - 来自专栏TEL18600524535
文档抽取技术：将非结构化数据转化为可计算、可分析的结构化数据
在信息爆炸的时代，各种机构、企业等都面临着海量非结构化文档数据的挑战。报告、合同、票据、档案记录、法律文书等文档中蕴藏着巨大的数据，但传统依靠人工阅读、理解和录入的方式效率低下、成本高昂且容易出错。 它能够像一位“不知疲倦的超级员工”，自动从复杂文档中精准定位、识别并提取出关键信息，并将其转化为结构化数据，为业务流程自动化和智能决策提供动力。 人事档案信息结构化： 从员工档案中快速提取姓名、身份证号、教育经历、工作履历、职称信息等，一键生成人员信息表，极大简化了人事信息核查、统计和调阅流程。 智能投研与报告生成： 自动从海量的上市公司年报、券商研报、新闻公告中抽取财务数据、风险提示、行业动态等，为投资分析师提供结构化的数据摘要，辅助投资决策。 它不仅仅是简单的“机器换人”，更是通过将非结构化数据转化为可计算、可分析的结构化数据，从根本上重构了业务流程，提升了决策智能，强化了风险控制。
49910编辑于 2025-09-04 - 来自专栏qKnow知识平台
qKnow 知识平台核心能力解析｜第 02 期：非结构化抽取能力全景
本期《qKnow知识平台核心能力解析》，我们将聚焦非结构化抽取能力，带你系统了解：qKnow是如何借助大模型技术，将“看得懂的文档”，转化为“用得上的知识图谱”的。一、什么是非结构化抽取？ 非结构化抽取，是指通过大模型与知识工程技术，从多源异构的非结构化数据中，自动识别实体、关系与属性，并生成标准化的：「主体–关系–客体」三元组从而实现从原始文本→结构化知识→知识图谱的高效转化。 价值点：让非结构化抽取从“黑盒过程”变成“可观测系统”。 七、总结｜让非结构化数据真正“活”起来通过以上能力，qKnow构建了一条完整的非结构化知识抽取闭环：多格式接入→精细化配置→异步执行→可视化校验→溯源发布→日志保障让原本零散、不可计算的非结构化内容，真正转化为结构化 下期预告下一期《qKnow知识平台核心能力解析》，我们将带来更偏技术向的深度内容：《基于DeepKE，如何进行非结构化抽取》从底层框架、能力选型到工程实践，带你深入理解qKnow非结构化抽取背后的技术实现逻辑
10321编辑于 2026-01-23 - 来自专栏TEL18600524535
从非结构化到结构化：基于少样本学习的文档抽取系统架构与应用场景
在企业的日常运营中，海量的非结构化文档——合同、订单、票据、法律文书、企业证照等承载着核心业务信息。然而，这些文档格式各异、布局多变，传统基于固定模板或规则引擎的OCR（光学字符识别）技术难以应对。 近年来，OCR技术与大语言模型（Large Language Model, LLM）的深度结合，诞生了智能文档抽取系统。 这类系统仅需用户上传少量样本并自定义配置抽取字段，即可自动将任意文档转化为结构化数据，极大提升了信息处理效率。本文将从核心原理、技术架构及应用场景三个维度，剖析文档抽取系统的内在机制。 第二阶段：大模型语义解析 (LLM Layer)将OCR输出的结构化文本块（含位置信息）作为Prompt输入给大语言模型。角色设定：定义模型为“专业文档分析师”。 基于OCR与大模型的文档抽取系统，融合了计算机视觉、自然语言处理与知识推理，打破了传统模板化抽取的桎梏。用户仅需上传少量样本并自定义字段，即可将堆积如山的非结构化文档转化为可计算、可分析的结构化数据。
15610编辑于 2026-04-07 - 来自专栏挖掘大数据
非结构化数据分析的10个步骤
企业必须对结构化和非结构化数据有所了解，才能更好地为业务发展做出正确决策。本文将详细介绍企业分析非结构化数据的10个步骤： 1.确定一个数据源 了解有利于小型企业的数据来源非常重要。 2.管理非结构化数据搜索工具 收集到的结构化或非结构化的数据在使用上会有所不同。查找和收集数据只是一个步骤，构建非结构化数据搜索并使其有用是另一回事。 因此，企业在拥有太多非结构化数据之前，先找到一个良好的业务管理工具。 3.消除无用的数据 在收集数据并实现结构化之后，消除无用的数据是第三个步骤。 9.记录统计 通过上述所有步骤将非结构化数据变成结构化数据后，就可以创建统计信息了。对数据进行分类和分段以便于使用和学习，并为将来的使用创造一个良好的流程。 10.分析数据 这是索引非结构化数据的最后一步。在所有的原始数据实现结构化之后，就应该分析和做出与业务相关且有益的决策。索引还可帮助小型企业为将来的使用制定一致的模式。
3.1K00发布于 2017-12-27 - 来自专栏TEL18600524535
智能文档抽取系统，成为连接非结构化数据与可操作洞察的关键桥梁
然而，这些信息大多以非结构化或半结构化的形式存在，如PDF报告、扫描图像、电子邮件、合同文本等。智能文档抽取技术应运而生，成为连接非结构化数据与可操作洞察的关键桥梁。 智能文档抽取技术的工作原理智能文档抽取技术是一种融合多种人工智能技术的解决方案，其核心工作流程可分为以下几个阶段：文档预处理阶段格式转换：将PDF、图像等格式转换为可处理的统一格式图像增强：对扫描文档进行去噪 识别文档的物理布局和逻辑结构（标题、段落、表格等）内容识别与提取阶段光学字符识别（OCR）：将图像中的文字转换为机器可读文本自然语言处理（NLP）：理解文本的语义和上下文关系计算机视觉：识别文档中的图表、印章、签名等非文本元素数据标准化与输出阶段实体识别 ：提取人名、地点、日期、金额等关键信息关系抽取：确定不同实体之间的关联数据验证：通过规则引擎或机器学习模型验证提取结果的准确性结构化输出：将提取的信息转换为JSON、XML或直接写入数据库技术难点与挑战尽管智能文档抽取技术已取得显著进展 遮挡等问题领域特异性：不同行业（如医疗、法律、金融）文档具有独特术语和结构语义理解深度问题专业术语和领域特定缩写的准确理解隐含上下文关系的捕捉（如跨文档引用）动态适应需求文档模板随时间演变的跟踪适应处理部分结构化和完全非结构化混合内容小样本情况下的快速领域适应系统集成与性能平衡大规模文档处理的吞吐量与延迟优化与企业现有系统的无缝集成敏感数据的隐私保护与合规性智能文档抽取技术的功能特点
49210编辑于 2025-07-10 - 来自专栏海天一树
结构化、半结构化和非结构化数据
一、结构化数据 结构化的数据是指可以使用关系型数据库表示和存储，表现为二维形式的数据。一般特点是：数据以行为单位，一行数据表示一个实体的信息，每一行数据的属性是相同的。 二、半结构化数据 半结构化数据是结构化数据的一种形式，它并不符合关系型数据库或其他数据表的形式关联起来的数据模型结构，但包含相关标记，用来分隔语义元素以及对记录和字段进行分层。 所以，半结构化数据的扩展性是很好的。 三、非结构化数据 非结构化数据是数据结构不规则或不完整，没有预定义的数据模型，不方便用数据库二维逻辑表来表现的数据。 非结构化数据其格式非常多样，标准也是多样性的，而且在技术上非结构化信息比结构化信息更难标准化和理解。 非结构化数据，包括视频、音频、图片、图像、文档、文本等形式。
24.3K44发布于 2018-10-08 - 来自专栏小徐学爬虫
非结构化文本到结构化数据
将非结构化文本转换为结构化数据是一项常见且重要的任务，特别是在数据分析、自然语言处理和机器学习领域。以下是一些方法和工具，可以帮助大家从非结构化文本中提取有用的结构化数据。 1、问题背景文本数据在我们的日常生活中无处不在，如何将这些文本数据转换为结构化数据是非常有用的，它可以帮助我们更好地管理和利用这些数据。 然而，将非结构化文本转换为结构化数据是一项具有挑战性的任务，因为非结构化文本通常是杂乱无章且不规则的。2、解决方案将非结构化文本转换为结构化数据的解决方案之一是使用自然语言处理（NLP）技术。 NLP技术可以帮助我们理解文本的含义，并将其转换为计算机能够理解的结构化数据。 不同的方法适用于不同类型的非结构化文本和不同的需求，我们可以根据具体的需求和数据选择合适的方法或组合多种方法来实现从非结构化文本到结构化数据的转换。
1.2K10编辑于 2024-07-11 - 来自专栏有三AI
【文本信息抽取与结构化】详聊如何用BERT实现关系抽取
这个系列文章【文本信息抽取与结构化】，在自然语言处理中是非常有用和有难度的技术，是文本处理与知识提取不可或缺的技术。 利用BERT强大的编码能力，预期能够同时抽取到文本中的两种特征。事实上也正是如此，目前效果最好的关系抽取模型正是基于BERT的工作，本片介绍几个利用BERT来做关系抽取的工作。 实体识别模块 实体抽取模块和我们前面介绍的实体抽取模块基本相同，感兴趣的同学可以看如下的文章： 【NLP-NER】如何使用BERT来做命名实体识别 该模型中差异仅仅在于，文本经过BERT进行特征抽取之后 关系分类模块 我们重点来看关系抽取的模块，该模块的输入由2个部分组成：实体抽取信息以及BERT编码信息。将实体抽取模块输出的BIOES类别信息，编码成固定维度的向量。 这个模型的特点是端到端的实现了实体抽取和关系抽取，同时也能够预测多个关系类别。 总结 文本信息抽取与结构化是目前NLP中最为实际且效益最大的任务，熟悉这个任务是一个NLP算法工程师必需要做的事情。
3.8K10发布于 2020-03-17 - 来自专栏有三AI
【文本信息抽取与结构化】详聊文本的结构化【上】
这一点在知识图谱、信息抽取、文本摘要这些任务中格外明显。不同的任务的差异在于目标的转化形式不一样，因而不同的任务难度、处理方式存在差异。 这个系列文章【文本信息抽取与结构化】，在自然语言处理中是非常有用和有难度的技术，是文本处理与知识提取不可或缺的技术。 本篇介绍如何从非结构的文档中，提取想要的信息，进而结构化文本。 其实结构化简历，还有一个场景需要，就是目前很多招聘网站的收费服务：简历优化。将简历结构化的信息抽取之后，后续的简历筛选，简历优化以及岗位匹配运用NLP技术或者甚至一些简单的判断就能有不错的效果了。 文本的预处理过程，是一个复杂且重要的步骤，预处理的效果直接影响后续信息抽取模型的效果。 总结 文本信息抽取与结构化是目前NLP中最为实际且效益最大的任务，熟悉这个任务是一个NLP算法工程师必需要做的事情。
3.9K10发布于 2020-02-19 - 来自专栏有三AI
【文本信息抽取与结构化】详聊文本的结构化【下】
这个系列文章【文本信息抽取与结构化】，在自然语言处理中是非常有用和有难度的技术，是文本处理与知识提取不可或缺的技术。 本篇介绍如何从非结构的文档中，提取想要的信息，进而结构化文本。 作者&编辑 | 小Dream哥 前述 文本的结构化，是对文本的理解的过程，如果能够将这个过程交给AI去做，能够释放大量的人工成本。 在【文本信息抽取与结构化】详聊文本的结构化【上】中，笔者介绍了文本结构化的意义，并开始介绍了如何进行文本的结构化，介绍了如何定义文本结构化的具体需求以及进行文本的预处理。 以上是文本结构化过程一个大致的步骤和需要用到的技术，是笔者在实际工作中总结出来的一些经验，限于眼界，未能尽述和完备，如有不足，敬请赐教。 下次文章，详细介绍关系及实体抽取技术和模型，以完善这个系列的内容。 总结 文本信息抽取与结构化是目前NLP中最为实际且效益最大的任务，熟悉这个任务是一个NLP算法工程师必需要做的事情。
4K10发布于 2020-02-26 - 来自专栏TEL18600524535
揭秘文档抽取从非结构化文本中自动抓取关键信息的奥秘
在商业和科研的日常运营中，我们被海量的非结构化文档所包围：合同、发票、简历、研究报告、医疗记录等。这些文档承载着重要信息，但其格式自由、布局多变，使得计算机难以直接理解和处理。 系统的核心工作流程文档抽取系统并非一蹴而就，它通常遵循一个精密的多阶段管道来处理文档。第一阶段：文档预处理与“数字化”理解非结构化文档首先需要被转换成系统能够“阅读”的格式。 例如，它能识别出“北京”是地点，“2023年10月27日”是日期，“ABC科技有限公司”是组织机构。 医疗健康：病历结构化：从非结构化的病历中提取患者症状、诊断结果、用药记录和手术信息，为临床研究和个性化诊疗提供数据支持。保险结算：自动识别医疗账单中的诊疗项目、药品代码和费用，简化保险报销流程。 它通过将非结构化文档“分解”、“理解”并“重组”，将散落在文档各处的关键信息转化为结构化数据，从而为企业的自动化流程、数据分析和决策支持提供了坚实的信息基石。
48610编辑于 2025-11-16 - 来自专栏房东的猫
Python：非结构化数据-lxml
Element类型代表的就是
- first item
Element类型是一种灵活的容器对象，用于在内存中存储结构化数据- 标签下属性 href 为 link1.html 的标签 html.xpath('//li/a[@href="link1.html"]') 运行结果： [<Element a at 0x10ffaae18 因为 / 是用来获取子元素的，而 并不是
- 的子元素，所以，要用双斜杠 html.xpath('//li//span') 运行结果： [<Element span at 0x10d698e18
2.6K10发布于 2021-06-15 - 来自专栏肉眼品世界
非结构化数据治理方案
01 非结构化数据概述 “非结构化数据”是什么？相较于记录了生产、业务、交易和客户信息等的结构化数据，非结构化的信息涵盖了更为广泛的内容。 结构化数据仅占到全部数据量的20%，其余80%都是以文件形式存在的非结构化和半结构化数据，非结构化数据包含各种办公文档、图片、视频、音频、设计文档、日志文件、机器数据等。 非结构化数据的占比图 非结构化数据没有预定义的数据模型，不方便用数据库二维逻辑表来表现。 再如，业务系统缺少归档功能和接口，导致部门无法及时提交应归档保存的非结构化文档数据，导致非结构化文档数据资产容易丢失。同时，许多非结构化文档数据往往以“附件”的形式存在于系统中，难以检索与利用。 04 非结构化数据治理解决方案 非结构化数据管理在企业实践中主要体现为 ECM 企业内容管理，其解决方案是通过企业内容管理系统来得到各项非结构化数据管理 工作的具体落地实施。
3.4K10编辑于 2022-06-15 - 来自专栏房东的猫
Python：非结构化数据-XPath
-- 这里是注释 -->
手机品牌商4
- 苹果
电脑品牌商<span style="margin-left:<em>10</em>px
2.8K31发布于 2021-06-11 - 来自专栏python学习指南
Python爬虫(九)_非结构化数据与结构化数据
数据，可分为非结构化数据和结构化数据 非结构化数据：先有数据，再有结构 结构化数据：先有结构，再有数据 不同类型的数据，我们需要采用不同的方式来处理 非结构化的数据处理 文本、电话号码、邮箱地址 正则表达式 Python正则表达式 HTML文件 正则表达式 XPath CSS选择器 结构化的数据处理 JSON文件 JSON Path 转化为Python类型进行操作（json类） XML文件 转化为Python
2.3K60发布于 2018-01-17 - 来自专栏活动
知识图谱构建：DeepSeek结构化信息抽取方案
Ⅰ、背景海量文本数据散落在文档、网页和数据库中，从这些非结构化或半结构化信息源中提取有价值的知识，并转化为结构化形式，对于构建智能应用至关重要。 DeepSeek结构化信息抽取方案应运而生，解决从复杂文本高效、准确提取结构化信息的难题。 事件抽取方法将事件抽取视为序列标注与文本分类的结合，识别事件触发词并分类，确定事件类型与参数。Ⅳ、部署过程与实例分析环境准备确保服务器具备充足的内存和GPU资源以加速训练。 标注实体、关系和事件，形成结构化的训练数据。 = 0: # 0表示非实体 label = id2label[pred] if current_entity is None:
2K21编辑于 2025-03-26 - 来自专栏机器学习与统计学
大炮打蚊子，Gemini从PDF抽取结构化文本
将 PDF 转换为结构化或机器可读的文本一直是一个大问题。如果我们能够将 PDF 文档转换为结构化数据会怎样？这就是 Gemini 2.0 发挥作用的地方。 Gemini 2.0 与 Pydantic 的结构化输出 结构化输出是一个功能，确保 Gemini 始终生成符合预定义格式的响应，例如 JSON Schema。 一个 Pydantic BaseModel[10] genai.types.Schema[11] / Pydantic BaseModel[12] 的字典等价物 让我们来看一个简单的文本示例。 使用 Gemini 2.0 从 PDF 中提取结构化数据 现在，让我们结合 File API 和结构化输出来从 PDF 中提取信息。 googleapis.github.io/python-genai/#delete [9] typing 注释: https://docs.python.org/3/library/typing.html [10
55610编辑于 2025-07-12
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号