Spacy Pipeline？

Question

所以最近我一直在玩WikiDump。我对它进行了预处理，并在Word2Vec + Gensim上进行了训练。

有人知道Spacy中是否只有一个脚本可以同时生成标记化、句子识别、词性标记、词汇化、依存关系解析和命名实体识别

我找不到清晰的文档，谢谢

Answer 1

只要使用en_nlp = spacy.load('en'); doc=en_nlp(sentence)，Spacy就能为您提供所有这些功能。documentation提供了有关如何访问每个元素的详细信息。

下面给出一个示例：

In [1]: import spacy
   ...: en_nlp = spacy.load('en')

In [2]: en_doc = en_nlp(u'Hello, world. Here are two sentences.')

句子可以通过使用doc.sents获得

In [4]: list(en_doc.sents)
Out[4]: [Hello, world., Here are two sentences.]

名词块是由doc.noun_chunks提供的

In [6]: list(en_doc.noun_chunks)
Out[6]: [two sentences]

doc.ents提供了Named entity

In [11]: [(ent, ent.label_) for ent in en_doc.ents]
Out[11]: [(two, u'CARDINAL')]

标记化:您可以遍历文档以获得令牌。token.orth_给出了令牌的字符串。

In [12]: [tok.orth_ for tok in en_doc]
Out[12]: [u'Hello', u',', u'world', u'.', u'Here', u'are', u'two', u'sentences', u'.']

POS由token.tag_提供

In [13]: [tok.tag_ for tok in en_doc]
Out[13]: [u'UH', u',', u'NN', u'.', u'RB', u'VBP', u'CD', u'NNS', u'.']

列举化：

In [15]: [tok.lemma_ for tok in en_doc]
Out[15]: [u'hello', u',', u'world', u'.', u'here', u'be', u'two', u'sentence', u'.']

依赖项解析。您可以使用token.dep_ token.rights或token.lefts遍历解析树。您可以编写一个函数来打印依赖项：

In [19]: for token in en_doc:
    ...:     print(token.orth_, token.dep_, token.head.orth_, [t.orth_ for t in token.lefts], [t.orth_ for t in token.rights])
    ...:     
(u'Hello', u'ROOT', u'Hello', [], [u',', u'world', u'.'])
(u',', u'punct', u'Hello', [], [])
(u'world', u'npadvmod', u'Hello', [], [])
...

有关更多详细信息，请参考spacy文档。

Answer 2

他们已经将spacy版本更新到spacy-alpha V2.0.0。

您可以在此处查看新的文档 Here

Answer 3

有一个Github问题线程，用于将模型添加到新语言的流水线中，或者改进现有的模型：

https://github.com/explosion/spaCy/issues/3056

根据我的理解，在最坏的情况下，您可能需要使用您自己的模型以spacy所需的格式标记数据；然后使用这些标记的数据来训练spacy中的模型。