spacy-udpipe从非英语文本中提取关键字

Question

我一直在使用pytextrank (https://github.com/DerwenAI/pytextrank/)与spacy和English模型进行关键词提取-它工作得很好！

现在我需要处理非英文文本，我找到了udpipe (https://github.com/TakeLab/spacy-udpipe)，但它不能开箱即用……之后

nlp = spacy_udpipe.load("sk")
tr = pytextrank.TextRank()
nlp.add_pipe(tr.PipelineComponent, name="textrank", last=True)
doc = nlp(text)

我得到了带有POS和DEP标签的令牌，但在doc._.phrases (doc.noun_chunks也是空的)中什么都没有，在nlp.pipe_names中只有'textrank‘

我应该向spacy的管道中添加什么才能使其正常工作？我想pytextrank需要noun_chunks..。

任何建议或建议都会对我有所帮助--谢谢！

Answer 1

您是否介意在PyTextRank repo上开始讨论这个问题？https://github.com/DerwenAI/pytextrank/issues

此外，如果您可以提供示例文本使用(以请求的语言)

我们将尝试调试此集成。

感谢您的指点！

Paco

Answer 2

我找到了一个解决方案！我不确定nlp.Defaults.syntax_iterators = {"noun_chunks" : get_chunks}有多干净，但它是工作的(它基于noun_chunks在syntax_iterators.py中的定义和__init__.py在spaCy/lang/en中的定义)

import spacy_udpipe, spacy, pytextrank
from spacy.matcher import Matcher
from spacy.attrs import POS

def get_chunks(doc):
    np_label = doc.vocab.strings.add("NP")
    matcher = Matcher(nlp.vocab)
    pattern = [{POS: 'ADJ', "OP": "+"}, {POS: {"IN": ["NOUN", "PROPN"]}, "OP": "+"}]
    matcher.add("Adjective(s), (p)noun", None, pattern)
    matches = matcher(doc)

    for match_id, start, end in matches:
        yield start, end, np_label

spacy_udpipe.download("sk") # download model
nlp = spacy_udpipe.load("sk")
nlp.Defaults.syntax_iterators = {"noun_chunks" : get_chunks}  #noun_chunk replacement

tr = pytextrank.TextRank(logger=None)
nlp.add_pipe(tr.PipelineComponent, name="textrank", last=True)

text = "Wikipédia je webová encyklopédia s otvoreným obsahom, ktorú možno slobodne čítať aj upravovať. Je sponzorovaná neziskovou organizáciou Wikimedia Foundation. Má 285 nezávislých jazykových vydaní vrátane slovenského a najrozsiahlejšieho anglického. Popri článkoch encyklopedického typu obsahuje, najmä anglická encyklopédia, aj články podobajúce sa almanachu, atlasu či stránky aktuálnych udalostí. Wikipédia je jedným z najpopulárnejších zdrojov informácií na webe s približne 13 miliardami zobrazení mesačne. Jej rast je skoro exponenciálny. Wikipédii (takmer 2 milióny). Wikipédia bola spustená 15. januára 2001 ako doplnok k expertmi písanej Nupedii. So stále rastúcou popularitou sa Wikipédia stala podhubím pre sesterské projekty ako Wikislovník (Wiktionary), Wikiknihy (Wikibooks) a Wikisprávy (Wikinews). Jej články sú upravované dobrovoľníkmi vo wiki štýle, čo znamená, že články môže meniť v podstate hocikto. Wikipediáni presadzujú politiku „nestranný uhol pohľadu“. Podľa nej relevantné názory ľudí sú sumarizované bez ambície určiť objektívnu pravdu. Vzhľadom na to, že Wikipédia presadzuje otvorenú filozofiu, jej najväčším problémom je vandalizmus a nepresnosť. "
doc = nlp(text)

print("Noun chunks:")
for nc in doc.noun_chunks:
    print(nc)

print("\nKeywords:")
for phrase in doc._.phrases:
    print("{:.4f} {:5d}  {}".format(phrase.rank, phrase.count, phrase.text))
    print(phrase.chunks)