在Spacy的en_core_web_sm模型中添加新的命名实体？

Question

下面是关于培训新的实体类型的示例：

https://spacy.io/usage/training#example-new-entity-type

当我不把一个现有的模型传递给它，并且正确地创建一个新的模型时，它工作得很好，它可以识别我的新命名实体。

 python.exe train-new-entity-type.py

当我将一个现有的模型传递给它(之前运行它一次创建)，并在dir/my_model dir中正确地加载模型时，它也可以正常工作，该模型仍然识别我的新命名实体。

 python.exe train-new-entity-type.py -m dir/my_model

但是，我想训练一个新的实体类型，并将它添加到spacy的现有模型中，这样spacy将识别出它自己的受支持的命名实体以及我的新的实体类型，所以我尝试：

 python.exe train-new-entity-type.py -m en_core_web_sm

然而，这似乎不起作用。Spacy自己的受支持的命名实体已被识别，但它们是不正确的(vs只是单独使用en_core_web_sm而没有向其添加新的实体类型)，而且我的新实体类型根本就没有被识别。

我做错了什么吗？这有可能(将命名实体添加到en_core_web_sm)吗？

Answer 1

了解更新现有模型时的“灾难性遗忘”问题：https://spacy.io/usage/training#ner

更新现有模型可能很棘手，因此可能更容易为新的实体类型培训单独的模型，并使用自定义名称将NER组件添加到en_core_web_sm管道中。需要注意的主要事项是，您需要确保模型加载了相同的词汇表，这样您就不会遇到字符串存储方面的问题：

import spacy
nlp = spacy.load("en_core_web_sm")
custom_nlp = spacy.load("my_model", vocab=nlp.vocab)
nlp.add_pipe(custom_nlp.get_pipe("ner"), name="my_ner", before="ner")

将其添加到管道中(在现有的ner之前/之后)将确定哪个实体跨具有优先级，因为ner组件不会修改现有的实体跨度。