我能调好GPT-3吗？

Question

有人能在没有GPU的商品硬件上微调GPT-3型号吗？

• 我的意思是我们能微调现有的GPT-3等效型号吗？
• 例如，我们只能访问GPT。
• 我们可以微调GPT与商品硬件或让我们说只有基本的GPU，如1与一个RTX 3080。

我们能微调这些模型(而不是从头开始训练)吗？

还是需要带有GPU的高端基础设施？

Answer 1

GPT-3的权重不公开.您可以微调它，但只能通过OpenAI提供的接口。无论如何，GPT-3太大了，不能在CPU上训练.

对于其他类似的模型，如GPT，它们不适合于RTX 3080，因为它有10/12 Gb的内存，而GPT采用22+ Gb作为float32参数。应该可以微调一些使用int8精度的特殊版本，比如这一个。