如何在wandb中记录工件，同时使用artifacts变压器？

Question

我正在使用简单变压器创建一个问答模型。我还想使用wandb来跟踪模型工件。正如我从wandb文档了解到的，简单变压器有一个集成接触点，但是没有提到记录工件。

我想记录在列车、验证和测试阶段生成的工件，如train.json、eval.json、test.json、output/_test.json和最佳执行模型。

Answer 1

目前，simpleTransformers不支持在培训/测试脚本中记录工件。但你可以手动完成：

import os 

with wandb.init(id=model.wandb_run_id, resume="allow", project=wandb_project) as training_run:
    for dir in sorted(os.listdir("outputs")):
        if "checkpoint" in dir:
            artifact = wandb.Artifact("model-checkpoints", type="checkpoints")
            artifact.add_dir("outputs" + "/" + dir)
            training_run.log_artifact(artifact)

要获得更多信息，您可以在SimpleTransofrmer的README.md中跟随W&B笔记本