如何安装语言模型

Question

我正在探索将NLP用于一些机器学习项目。我通常使用python通过Anaconda编写我的所有项目，使用Jupyter notebooks或PyCharm作为我的集成开发环境。

我想开始使用spacy，并计划在不久的将来参加一个关于它的研讨会。我首先提出了两个建议。安装spacy并安装en_core_web_lg语言模型。我完成了第一步，只需在Anaconda环境中搜索spacy包(传统方法)并安装它。然而，就安装语言模型而言，我不太熟悉如何在我的计算机上安装它，因为它不是一个传统的包。

spacy安装网站在此处引用：https://spacy.io/models/en#en_core_web_lg，可以使用以下命令安装此语言模型：

INSTALLATION

$ python -m spacy download en_core_web_lg

我假设这是一个通过终端的命令？我没有使用终端的经验，但是我试着在命令行中输入上面的命令，然后按enter键，什么也没有发生。这是安装此型号的正确方法吗？我应该如何安装？另外，出于教学目的，当我们安装模型时，究竟发生了什么？它存在于我们的计算机上，然后可以用于NLP，比如Jupyter笔记本。

很抱歉，如果这些问题看起来相当基础，我仍然在努力学习这些新技术。任何帮助、推荐人或建议都将不胜感激。

谢谢。

Answer 1

确保使用virtualenv或conda激活您的环境，并按照@Aris提到的方式安装spaCy。

安装spaCy的步骤

pip install -U spacy

要安装特定型号，请使用型号名称运行以下命令(例如en_core_web_lg)：

python -m spacy download [model]

要加载模型，请使用带有模型名称、快捷方式链接或模型数据目录路径的spacy.load()。

import spacy
nlp = spacy.load("en_core_web_sm")
doc = nlp(u"This is a sentence.")

您还可以通过模型的全名直接导入模型，然后不带参数地调用它的load()方法。这也应该适用于早期版本的spaCy中的旧型号。

import spacy
import en_core_web_lg

nlp = en_core_web_lg.load()
doc = nlp(u"This is a sentence.")

Answer 2

您应该激活您创建的环境并安装spacy，然后再安装模型。

conda create -n myenv
conda activate myenv
conda install -c conda-forge spacy
python -m spacy download en_core_web_lg

然后，您将能够加载语言模型。对于第二个问题，您已经在本地安装了下载的模型。你可以在你的脚本和笔记本中使用它。

Answer 3

再加上其他答案，

您也可以使用pip安装模型。这适用于Python 3，但也可能适用于2。您可以通过github页面获取指向模型的轮子链接，并使用安装，例如

pip install https://github.com/explosion/spacy-models/releases/download/de_core_news_lg-3.1.0/de_core_news_lg-3.1.0-py3-none-any.whl

或者，您可以直接将轮子链接添加到需求文件。

https://github.com/explosion/spacy-models/releases