使用stanford-nlp对文本进行分块

Question

我正在使用stanford core NLP，并使用下面这行代码加载一些模块来处理我的文本：

props.put("annotators", "tokenize, ssplit, pos, lemma, ner, parse, dcoref");

有没有一个我可以加载的模块来分块文本？

或者有什么建议可以用另一种方式使用斯坦福的核心来分块一些文本？

谢谢

Answer 1

我认为解析器的输出可以用来获得NP块。看看Stanford Parser website上的上下文无关表示，它提供了示例输出。

Answer 2

要在Stanford NLP中使用分块，您可以使用以下软件包：

• YamCha:基于支持向量机的NP-chunker，也可用于POS机标签，NER等C/C++开源。获得CoNLL 2000共享任务。(对于终端用户，自动化程度低于专门的POS标记器。)
• Mark Greenwood的名词短语块：

对拉姆肖和马库斯(1995)的重新实现。

• fnTBL:在C++中快速灵活地实现基于转换的学习。包括一个POS标记器，但也包括NP分块和通用分块模型。

来源：http://www-nlp.stanford.edu/links/statnlp.html#NPchunk

Answer 3

你需要的是constituency in CoreNLP的输出，它会给你块的信息，例如动词短语(VP)，名词短语(NP)等等。但据我所知，CoreNLP中没有方法给你一个块列表。这意味着您必须解析成分分析的实际输出，以提取组块。

例如，这是CoreNLP的成分解析器对一个示例句子的输出：

(ROOT (S ("" "") (NP (NNP Anarchism)) (VP (VBZ is) (NP (NP (DT a) (JJ political) (NN philosophy)) (SBAR (WHNP (WDT that)) (S (VP (VBZ advocates) (NP (NP (JJ self-governed) (NNS societies)) (VP (VBN based) (PP (IN on) (NP (JJ voluntary) (, ,) (JJ cooperative) (NNS institutions))))))))) (, ,) (S (VP (VBG rejecting) (NP (JJ unjust) (NN hierarchy))))) (. .)))

正如您所看到的，字符串中有NP和VP标记，现在您必须通过解析此字符串来提取块的实际文本。让我知道你是否可以找到一个方法，给你的块列表？！