将预先培训的深度学习模式导入铸造代码工作簿

Question

如何将h5模型从Foundry本地导入到代码工作簿？我想使用拥抱脸库，如下所示，在它的文档中，from_pretrained方法期望有一个URL路径到预先训练过的模型所在的位置。

理想情况下，我希望将模型下载到本地机器上，上传到Foundry，并让Foundry阅读该模型。

作为参考，我试图在代码工作簿或代码创作上进行此操作。看起来您可以直接从那里处理文件，但我已经阅读了文档，给出的示例是CSV文件，而这个模型包含各种文件，如h5和json格式。想知道如何访问这些文件并将它们从变压器包中传递到from_pretrained方法中

相关链接：https://huggingface.co/transformers/quicktour.html预培训模型：https://huggingface.co/distilbert-base-uncased-finetuned-sst-2-english/tree/main

谢谢!

Answer 1

我继续前进，并增加了变压器(拥抱脸)包到平台上。

至于上传包，您可以遵循以下步骤：

1. 将与模型相关的文件一起使用数据集作为代码工作簿转换

的输入。

https://docs.python.org/3/library/filesys.html

1. 使用pythons原始文件访问数据集的内容

https://www.kite.com/python/answers/how-to-write-a-file-to-a-specific-directory-in-python

• 使用pythons内置的

• 文件构建文件夹，并添加步骤2、https://docs.python.org/3/library/tempfile.html#tempfile.mkdtemp、https://docs.python.org/3/library/tempfile.html#tempfile.mkdtemp中的文件。

1. 传入tempfile.mkdtemp文件(tempfile.mkdtemp()返回绝对路径)给from_pretrained方法

import tempfile

def sample (dataset_with_model_folder_uploaded):
  full_folder_path = tempfile.mkdtemp()

  all_file_names = ['config.json', 'tf_model.h5', 'ETC.ot', ...]

  for file_name in all_file_names:
    with dataset_with_model_folder_uploaded.filesystem().open(file_name) as f:
      pathOfFile = os.path.join(fullFolderPath, file_name)
      newFile = open(pathOfFile, "w")
      newFile.write(f.read())
      newFile.close()
  
  model = TF.DistilSequenceClassification.from_pretrained(full_folder_path)
  tokenizer = TF.Tokenizer.from_pretrained(full_folder_path)

谢谢,