GPT-3个用于回答问题的长输入帖子

Question

根据我的理解，GPT-3是通过在期望的/测试示例之前包含一些标记的示例来“培训”特定任务的。在回答问题时，这包括一个上下文和一个问题。在这种情况下，输入提示符可能会变长。人们是如何解决这个问题的？

我正在使用拥抱面GPT-J实现，并且有一个输入令牌限制(2000年)。但是，当在提示符中包含多个qa示例时(特别是在上下文中)，它很快就达到了这个限制，限制了要输入的示例提示的数量。有谁知道这个问题是如何在GPT设置中处理的，特别是对于QA？

Answer 1

不幸的是，GPT-3和GPT都有一个2048令牌上下文限制，而且您对此无能为力。

在我的NLP云 API上，我建议的一般解决方案是微调GPT。微调GPT就像给模型提供了大量的上下文。