SpaCy模型训练数据: WikiNER

Question

对于2.0版本的xx_ent_wiki_sm模型，提到了"WikiNER“数据集，这导致了一篇文章”从维基百科学习多语言命名实体识别“。

是否有任何资源可以下载这些数据集以重新培训该模型？还是维基百科转储处理的脚本？

Answer 1

Joel (和我的)前研究小组的数据服务器似乎是离线的：http://downloads.schwa.org/wikiner

我在这里找到了wp3文件的镜像，这是我在spaCy：https://github.com/dice-group/FOX/tree/master/input/Wikiner中使用的文件

要重新训练spaCy模型，您需要创建一个train/dev split (我将在线直接比较，但对于now...just则是随机剪切)，并将这些文件命名为.iob扩展名。然后使用：

spacy convert -n 10 /path/to/file.iob /output/directory

-n 10参数对于在spaCy中使用很重要:它将句子连成10句的“伪段落”。这让模型了解到文档可以带有多个句子。