下载transformers模型以脱机使用

Question

我有一个训练有素的变压器模型，我想在一台没有连接到互联网的机器上使用。加载此类模型时，当前会将缓存文件下载到.cache文件夹。

要脱机加载和运行模型，需要将.cache文件夹中的文件复制到脱机计算机。然而，这些文件具有长的、非描述性的名称，这使得如果您有多个要使用的模型时很难识别正确的文件。对此有什么想法吗？

Example of model files

Answer 1

处理此问题的一种相对简单的方法是简单地“重命名”预训练的模型，如this线程中所述。

从本质上讲，对于您尝试使用的任何模型，您所要做的就是如下所示：

from transformers import BertModel

model = BertModel.from_pretrained("bert-base-uncased")
model.save_pretrained("./my_named_bert")

该线程还详细说明了如何命名本地模型文件夹，请参阅LysandreJik的帖子：

嗨，它们之所以这样命名，是因为这是一种确保S3上的模型与缓存中的模型相同的干净方法。该名称是根据S3上托管的文件的etag创建的。...

Answer 2

第一次使用model.save_pretrained("./ your _ file _name")保存模型，并通过BertModel.from_pretrained("./your_file_name")从您的文件加载模型，如果您正在使用记号生成器，请对它执行相同的操作。

model.save_pretrained("./your_file_name")
BertModel.from_pretrained("./your_file_name")