是否有可能在google中训练变压器模型？(不是gpt2)

Question

我知道gpt2是基于转换器架构的，但是源代码在哪里，资源有限，没有关于如何编写的教程。我是NLP的新手，而且如果我不得不写小说的话，多部小说的变压器训练会有帮助吗？

Answer 1

我认为训练GPT和其他变形人的最好方法是使用库https://huggingface.co/docs/transformers。他们还提供了一门课程，可以帮助您熟悉主题：https://huggingface.co/course/

是的，如果变压器型号不太大，就可以在Colab上训练。

是的，类似GPT的模型可以被训练来创作小说，但只有短的(比如几段)，因为几乎所有这样的模型都只能在篇幅有限的文本中工作。

Answer 2

是的，这是可能的，如果你使用GPU进行培训会更好。确保修改num_train_epochs、per_device_train_batch_size和TrainingArguments中的per_gpu_train_batch_size功能，以防止运行时崩溃！>> RuntimeError: CUDA从内存中流出

大部分时间，它将使用整个GPU和RAM和笔记本会崩溃！