使用带有局部模型的管道

Question

我正在尝试脱机使用一个简单的pipeline。我只允许直接从网上下载文件。

我去了https://huggingface.co/distilbert-base-uncased-finetuned-sst-2-english/tree/main并下载了本地文件夹C:\\Users\\me\\mymodel中的所有文件

但是，当我试图加载模型时，会出现一个奇怪的错误。

from transformers import pipeline

classifier = pipeline(task= 'sentiment-analysis', 
                      model= "C:\\Users\\me\\mymodel",
                      tokenizer = "C:\\Users\\me\\mymodel")

ValueError: unable to parse C:\Users\me\mymodel\modelcard.json as a URL or as a local path

这里有什么问题？谢谢!

Answer 1

解决办法是稍微间接的：

save_pretrained()

• transfer

1. 将模型加载到具有internet access
2. 的计算机上，用
3. 保存模型上面获得的文件夹到脱机计算机，并将其路径指向pipeline call

该文件夹将包含所有预期文件。

Answer 2

必须是以下两种情况之一：

没有下载所有必需文件的properly

• Folder路径是错误的

FYI，我在目录中列出所需的内容：

• config.json
• pytorch_model.bin/ tf_model.h5
• special_tokens_map.json
• tokenizer.json
• tokenizer_config.json
• vocab.txt