Huggingface Transformer - GPT2从保存的检查点恢复训练

Question

恢复从run_clm.py实现的GPT2微调

GPT2 huggingface是否具有从保存的检查点恢复训练的参数，而不是从头开始再次训练？假设python笔记本在训练时崩溃，检查点将被保存，但当我再次训练模型时，它仍然从头开始训练。

来源：here

微调代码：

!python3 run_clm.py \
    --train_file source.txt \
    --do_train \
    --output_dir gpt-finetuned \
    --overwrite_output_dir \
    --per_device_train_batch_size 2 \
    --model_name_or_path=gpt2 \
    --save_steps 100 \
    --num_train_epochs=1 \
    --block_size=200 \
    --tokenizer_name=gpt2

从上面的代码可以看出，run_clm.py是huggingface提供的一个脚本，用于调整gpt2以使用自定义数据集进行训练

Answer 1

要从检查点恢复训练，请使用--model_name_or_path参数。因此，您可以将其定向到最新的检查点文件夹，而不是给出默认的gpt2。

所以你的命令变成：

!python3 run_clm.py \
    --train_file source.txt \
    --do_train \
    --output_dir gpt-finetuned \
    --overwrite_output_dir \
    --per_device_train_batch_size 2 \
    --model_name_or_path=/content/models/checkpoint-5000 \
    --save_steps 100 \
    --num_train_epochs=1 \
    --block_size=200 \
    --tokenizer_name=gpt2