如何从零开始训练gpt 2？

Question

我想从零开始训练gpt 2，但是在我发现的文章中，只有基于预先训练过的模型的微调方法。我已经将这个https://github.com/nshepperd/gpt-2用于现有模型的列车。我应该编辑这些Python脚本来从头开始训练吗？

Answer 1

我在回购https://github.com/nshepperd/gpt-2的“问题”中找到了答案

如果您想根本不使用已发布的模型，例如，因为您希望训练一个具有不兼容的超参数的模型，那么只需在第一次运行时跳过释放的模型检查点(大约是tra.py:164-177)的恢复就足够了，这样参数就会被随机初始化。