- 综合排序
- 最热优先
- 最新优先
- 来自专栏白话NLP
依存句法分析
依存句法的理论 1.1 依存关系 在依存句法分析中，句子中词与词之间存在一种二元不等价关系： 主从关系。 2. 基于转移的依存句法分析 依存句法分析是一种中高级NLP任务，用来分析句子的依存语法。通常根据句子的词语和词性，生成一颗依存句法树。 目前常用的依存句法分析方法是：基于转移的依存句法分析。 基于转移的依存句法分析属于监督学习的范畴，其涉及许多组件。我们先定义一台虚拟的机器，这台机器会根据自身的状态和输入的词语预测下一步要执行的转移动作，然后根据转移动作拼装句法树。 1 Shift 我 爱,自然语言处理,root {} 2 依存句法分析的工具 常用的依存句法分析工具如下： HanLP； LTP；
2.2K50发布于 2019-12-04 - 来自专栏人工智能头条
别说还不懂依存句法分析
本文简要介绍了自然语言处理中极其重要的句法分析，并侧重对依存句法分析进行了重点总结，包括定义、重要概念、基本方法、性能评价、依存分析数据集，最后，分享了一些流行的工具以及工具实战例子。 01 句法分析 句法分析（syntactic parsing）是自然语言处理中的关键技术之一，它是对输入的文本句子进行分析以得到句子的句法结构的处理过程。 例如句法驱动的统计机器翻译需要对源语言或目标语言（或者同时两种语言）进行句法分析。 语义分析通常以句法分析的输出结果作为输入以便获得更多的指示信息。 2. HanLP HanLP 是一系列模型与算法组成的 NLP 工具包。提供了中文依存句法分析功能。 代码已上传： https://github.com/yuquanle/StudyForNLP/blob/master/NLPbasic/Dependency.ipynb 参考： 1.统计自然语言处理 2.
5.8K20发布于 2019-04-30 - 来自专栏码匠的流水账
使用opennlp进行依存句法分析
序 本文主要研究下如何使用opennlp进行依存句法分析 Parse opennlp主要使用Parse来进行依存句法分析，其模型为ParserModel @Test public void 小结 opennlp也支持依存句法分析，不过根节点的表示，stanford nlp使用的是ROOT，而opennlp使用的是TOP。 doc tools.parser.parsing
1.1K10发布于 2018-09-17 - 来自专栏深度学习自然语言处理
NLP基础任务 - 句法分析简介
zhuanlan.zhihu.com/p/565282216 编辑：深度学习自然语言处理 公众号 句法（Syntactic）分析是NLP的经典任务 Syntactic tasks: Word level Word level的句法分析任务有 成分句法分析：Constituent parsing，找到一句话中的层次短语结构 依存句法分析：Dependency parsing，这种句法结构通过词之间的两两关系组成一句话的结构。 CCG parsing，组合范畴句法分析，形式为一种高度词汇化的句法 CCG supertagging：在组合句法分析中，给每个词打标签 Syntactic chunking：把一个句子，切成比较大的短语块 方向有很多：机器学习、深度学习，python，情感分析、意见挖掘、句法分析、机器翻译、人机对话、知识图谱、语音识别等。 记得备注~
85910编辑于 2022-09-22 - 来自专栏Data Analysis & Viz
美食图谱复现指南之依存句法分析
本文代码开源在：DesertsX/gulius-projects 哈工大语言云的官网有一篇名为《使用语言云分析微博用户饮食习惯》的文章，里面讲到了借助分词、词性标注和依存句法分析等NLP技术，可以从微博文本内容中提取出用户饮食习惯等数据 pyltp 是 LTP 的 Python 封装，提供了分词，词性标注，命名实体识别，依存句法分析，语义角色标注的功能。 pyltp 安装成功，并下载好相应的 LTP 模型文件后，分别加载分词、词性标注和依存句法分析的模型。 os.path.join(LTP_DATA_DIR, 'pos.model') postagger = Postagger() postagger.load(pos_model_path) # 加载依存句法分析模型 os.path.join(LTP_DATA_DIR, 'parser.model') parser = Parser() parser.load(par_model_path) 对每个句子分别进行分词、词性标注和依存句法分析
83930发布于 2019-03-05 - 来自专栏码匠的流水账
使用stanford nlp进行依存句法分析
序 本文主要研究下如何使用stanford nlp进行依存句法分析 maven <dependency> <groupId>edu.stanford.nlp</groupId
2.5K10发布于 2018-09-17 - 来自专栏hadoop学习笔记
依存句法分析器的简单实现
生成式句法分析指的是，生成一系列依存句法树，从它们中用特定算法挑出概率最大那一棵。句法分析中，生成模型的构建主要使用三类信息：词性信息、词汇信息和结构信息。 封面图.jpg 本文主要利用了词汇+词性生成联合概率模型，使用最大生成树Prim算法搜索最终结果，得到了一个简单的汉语依存句法分析器。 依存句法分析 分词标注 以“我吃米饭”为例，先进行分词与词性标注，结果： 图2.JPG 生成有向图 由于依存句法树中有虚根的存在，所以为其加入一个虚节点，这样一共有四个节点： 图10.jpg 每个节点都与另外三个构成一条有向边 ##核心##/root 到 我/rr : 未知 10000.0 2. ##核心##/root 到 吃/v : 未知 10000.0 3. 得出最小生成树： 图5.jpg 格式化输出 将其转为CoNLL格式输出： 图6.jpg 可视化 使用可视化工具展现出来： 图7.jpg 结果评测 我没有进行严格的测试，这只是一个玩具级别的汉语依存句法分析器
1.2K00发布于 2018-10-17 - 来自专栏人工智能头条
一文了解成分句法分析
2. 消除输入句子中的词法和结构等方面的歧义。 3. 分析输入句子的内部结构，如成分构成、上下文关系等。 如果一个句子有多种结构表示，句法分析器应该分析出该句子最有可能的结构。 基于统计的分析方法：统计句法分析中目前最成功当属基于概率上下文无关文法(PCFG或SCFG)。 StanfordCoreNLP 斯坦福的，提供成分句法分析功能。 2. Berkeley Parser 伯克利大学 NLP 组开源的工具。提供英文的句法分析功能。 官方地址： http://nlp.cs.berkeley.edu/software.shtml 3. 统计自然语言处理 2. 中文信息处理报告-2016
2.3K30发布于 2019-05-10 - 来自专栏机器学习入门与实战
基于依存句法分析的关键短语抽取算法实战
引入依存句法分析 依存句法分析这里笔者不做过多的介绍，有兴趣的同学可以去百度一波.但是这里笔者展示一下依存句法分析的结果，通过依存句法分析，我们可以得到一颗如下的依存树，树的每条边记录了连接节点的对于关系 下方是笔者在百度百科中搜索出来的“借款费用”的定义，用依存句法分析了一波，也确实发现具有定中关系的词组组合起来就是关键短语，比如：借款费用，借款利息，外币借款等。 ? + 然后采用依存句法分析得到句子的依存树，将具有定中关系的相邻词组抽取出来。关键短语抽取推荐使用：ckpe 这个工具库，作者引入了LDA主题模型去优化关键短语打分，效果不错。 至于依存句法分析:笔者选择的是hanlp。代码如下： ? ', '代价', '资金', '企业'] + ckpe + 依存树 的结果为：['借款费用', '借款利息', '辅助费用', '外币借款', '汇兑差额'] 结论 所以在关键短语抽取算法中引入依存句法分析似乎有着不错的效果
1.7K10发布于 2020-03-26 - 来自专栏ShowMeAI研究中心
NLP教程(4) - 句法分析与依存解析
tutorials/36 本文地址：http://www.showmeai.tech/article-detail/237 声明：版权所有，转载请联系平台与作者并注明出处 收藏ShowMeAI查看更多精彩内容 [句法分析与依存解析 [句法分析与依存解析] ShowMeAI为CS224n课程的全部课件，做了中文翻译和注释，并制作成了 GIF动图！点击 第5讲-句法分析与依存解析 查看的课件注释与带学解读。更多资料获取方式见文末。 2) 特征选择的例子 作为一个例子，考虑一下对 S_{word}，S_{tag} 和 S_{label} 的选择： ① S_{word}：在堆和缓冲区的前三个单词：s_{1},s_{2},s_{3},b _{1},b_{2},b_{3}。 1,2。
1.1K42编辑于 2022-05-05 - 来自专栏机器学习AI算法工程
基于依存句法分析的资金账户交易画像
利用企业海量的银行交易流水数据，应用自然语言处理技术，基于依存句法分析的结果设计摘要标签化的提取规则，得到与交易记录有关的交易标签与业务标签。 1.2.2自然语言处理 本步骤利用哈尔滨工业大学的LTP（Language Technology Platform）开源中文NLP系统对预处理后的交易摘要进行分词、词性标注、命名实体识别、及依存句法分析 2）若HED无COO关系的词。 2.2.1规则1 如果分词结果中的词能与关键词库中的词完全匹配，则将该词标记为H，根据句法分析结果找到与H有ATT关系的词，记为ATTH。如果没有ATT，则不能提取标签。 规则1部分示例如表2所列。 ? 2.2.2规则2 如果分词结果中的词包含关键词库中的词（非完全匹配），则将该词标记为H。 1）若H只有1个，业务动词的查找规则与“规则1”一致。
1.1K11发布于 2019-10-28 - 来自专栏算法码上来
论文赏析基于Self-Attentive的成分句法分析
论文地址：Constituency Parsing with a Self-Attentive Encoder 代码地址：github 今天要介绍的这篇论文是成分句法分析领域目前的state-of-the-art 下面就是成分句法分析目前排名： ? ，然后应用解码器进行解码，生成成分句法分析树。 词向量表示 第 ? 个单词的词向量由三个部分组成： word embdding： ?
90920发布于 2020-03-24 - 来自专栏AI小白入门
初学者|别说还不懂依存句法分析
句法分析 句法分析（syntactic parsing）是自然语言处理中的关键技术之一，它是对输入的文本句子进行分析以得到句子的句法结构的处理过程。 dep_eng = eng_model.dependency_parse(s_eng) print(dep_eng) [('ROOT', 0, 2), ('nsubj', 2, 1), ('amod' , 6, 3), ('compound', 6, 4), ('compound', 6, 5), ('dobj', 2, 6), ('punct', 2, 7)] HanLP HanLP是一系列模型与算法组成的 dep_zh = HanLP.parseDependency(s_zh) print(dep_zh) 1 我 我 r r _ 2 主谓关系 _ _ 2 爱 wp w _ 2 标点符号 _ _ SpaCy 工业级的自然语言处理工具，遗憾的是目前不支持中文。
1.3K40发布于 2019-05-29 - 来自专栏算法码上来
成分句法分析综述（第二版）
原文链接： 成分句法分析综述（第二版） | 韦阳的博客godweiyang.com ? 本文对成分句法分析近年来的进展做了一个比较完善的总结。 介绍 成分句法分析近年来取得了飞速的发展，特别是深度学习兴起之后，神经句法分析器的效果得到了巨大的提升。一般来说，句法分析器都可以分为编码模型和解码模型两个部分。 图2：Transformer结构。 Transformer的输入有三个，查询（query）向量矩阵 ? ，键（key）向量矩阵 ? 和值（value）向量矩阵 ? 。 ，具体结构如图2所示。 在本文中， ? ， ? 和 ? 三个矩阵都是通过对句子的输入向量拼接而成的矩阵 ? ，分别乘以参数矩阵 ? ， ? 和 ? 得到的。 实验 数据集 成分句法分析使用最为广泛的英文数据集是华尔街日报的PTB数据集，其中第2~21章节划分为了训练集，22章节为验证集，23章节为测试集。
89710发布于 2020-03-24 - 来自专栏深度学习自然语言处理
句法分析（syntactic parsing）在NLP领域的应用是怎样的？
在opinion extraction/IR中如何使用句法分析； 2. 句法分析在多大程度上对这两个任务有帮助（原题）。 由于我自己主要还是做句法分析本身，暂时很少做上层应用，所以简单谈谈我对应用的理解，抛砖引玉。 1 在opinion extraction/IR中如何使用句法分析。 举几个例子吧。 Query 2: 谢霆锋是谁的儿子？ 这两个Query的bag-of-words完全一致，如果不考虑其语法结构，很难直接给用户返回正确的结果。 类似的例子还有很多。 在这种情况下，通过句法分析，我们就能够知道用户询问的真正对象是什么。 ? ? 2 句法分析在多大程度上对这两个任务有帮助（原题）。 原问题很好，可以扩展出很多思考。在炼丹纪到来之前，也许我们可以给一个非常乐观的回答，比如60%。但是现如今，我们需要思虑再三。
1.5K40发布于 2019-05-13 - 来自专栏算法码上来
论文赏析用序列标注来进行成分句法分析
论文地址： Constituent Parsing as Sequence Labelingaclweb.org 代码地址： aghie/tree2labelsgithub.com ? 相比于之前的序列方法，比如Parsing as Language Modeling，本文的序列化有所不同，主要体现在之前的方法都是seq2seq的，也就是输入句子，直接输出树的括号表达式序列。 句法分析的任务就是将输入句子 ? 映射到句法树 ? 。 为了将句法分析转化为序列标注任务，需要定义一个树的序列化方法： ? ，也就是将一棵有 ? 另外需要解释的是，为什么这里是常数2？因为 ? 到 ? 与 ? 的LCA的距离一定是2，如果不是的话，中间就一定会有其他结点，那么就一定存在结点位于 ? 与 ?
52940发布于 2020-03-24 - 来自专栏算法码上来
论文赏析基于中序转移的成分句法分析
基于转移的成分句法分析 首先简要介绍一下这三种基于转移的句法分析方法。 自底向上的转移系统 自底向上的转移系统是基于后序遍历的，例如对于下图这棵句法树，算法产生结点的顺序为3、4、5、2、7、9、10、8、6、11、1。 ? 句法分析系统如下： ? 每个时刻的状态用三元组 ? 来表示，分别表示栈中元素、buffer的第一个元素在句子中的下标、句法分析结束标记。 自顶向下的转移系统 自顶向下的转移系统是基于前序遍历的，例如对于之前那棵句法树，算法产生结点的顺序为1、2、3、4、5、6、7、8、9、10、11。 句法分析系统如下： ? 中序遍历就是采用这种思想的，例如对于之前那棵句法树，算法产生结点的顺序为3、2、4、5、1、7、6、9、8、10。 句法分析系统如下： ?
54210发布于 2020-03-24 - 来自专栏深度学习自然语言处理
【一分钟知识】依存句法分析
句法分析 句法分析（syntactic parsing）是自然语言处理中的关键技术之一，它是对输入的文本句子进行分析以得到句子的句法结构的处理过程。 dep_eng = eng_model.dependency_parse(s_eng) print(dep_eng) [('ROOT', 0, 2), ('nsubj', 2, 1), ('amod' , 6, 3), ('compound', 6, 4), ('compound', 6, 5), ('dobj', 2, 6), ('punct', 2, 7)] HanLP HanLP是一系列模型与算法组成的 dep_zh = HanLP.parseDependency(s_zh) print(dep_zh) 1 我 我 r r _ 2 主谓关系 _ _ 2 爱 wp w _ 2 标点符号 _ _ SpaCy 工业级的自然语言处理工具，遗憾的是目前不支持中文。
1.9K30发布于 2019-07-12 - 来自专栏ShowMeAI研究中心
NLP教程(9) - 句法分析与树形递归神经网络
[句法分析与树形递归神经网络] ShowMeAI为CS224n课程的全部课件，做了中文翻译和注释，并制作成了 GIF动图！点击 第18讲-句法分析与树形递归神经网络 查看的课件注释与带学解读。 2 成分句法分析 自然语言理解要求能够从较大的文本单元中较小的部分的理解中提取意义。这种提取要求能够理解较小的部件是如何组合在一起的。 现在我们关注成分句法分析，它将单词组织成嵌套的成分。 成分句法分析是将一段文本(例如一个句子)分成子短语的一种方法。 NLP教程(2)- GloVe及词向量的训练与评估 NLP教程(3)- 神经网络与反向传播 NLP教程(4)- 句法分析与依存解析 NLP教程(5)- 语言模型、RNN、GRU与LSTM NLP教程( 6)- 神经机器翻译、seq2seq与注意力机制 NLP教程(7)- 问答系统 NLP教程(8)- NLP中的卷积神经网络 NLP教程(9)- 句法分析与树形递归神经网络 斯坦福 CS224n 课程带学详解
1.7K41编辑于 2022-05-20 - 来自专栏算法码上来
论文赏析基于RNN和动态规划的线性时间成分句法分析
with RNNs and Dynamic Programming 代码地址：github 介绍 这次要介绍的论文是huang liang发表在ACL18的一篇短文，提出了一个基于转移系统的线性时间句法分析器 本文的主要贡献点主要有如下几点： 传统的基于转移的句法分析模型都是贪心解码，不能考虑到所有的状态空间，所以本文的模型采用beam search将状态空间提升到了指数级别。 模型基础 基于span的转移系统 这个我已经在之前的文章 成分句法分析综述godweiyang.com 中详细阐述过了。
52020发布于 2020-03-24
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号