在本地下载预先训练好的BERT模型

Question

我使用SentenceTransformers库(这里：https://pypi.org/project/sentence-transformers/#pretrained-models)通过预先训练好的模型bert-base-nli-mean-tokens来创建句子的嵌入。我有一个应用程序将部署到不能访问互联网的设备上。如何在本地保存此模型，以便当我调用它时，它会在本地加载模型，而不是尝试从internet下载？正如库维护人员所说的那样，SentenceTransformer方法从互联网(请参阅此处：https://pypi.org/project/sentence-transformers/#pretrained-models)下载模型，而我找不到在本地保存模型的方法。

Answer 1

Hugging face usage

您可以使用Hugging transformer库方法将模型下载到本地。

from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("sentence-transformers/bert-base-nli-mean-tokens")
model = AutoModel.from_pretrained("sentence-transformers/bert-base-nli-mean-tokens")
tokenizer.save_pretrained('./local_directory/')
model.save_pretrained('./local_directory/')

Answer 2

通过下载实例化SentenceTransformer之后，您可以使用' save ()‘方法将其保存到您选择的任何路径。

model = SentenceTransformer('distilbert-base-nli-stsb-mean-tokens')
model.save('/my/local/directory/for/models/')

可接受的答案不起作用，因为它没有SentenceTransformer正在寻找的封装文件夹和config.json