哪个更好: GPT还是RelGAN用于文本生成？

Question

根据我的理解，gpt或gpt-2正在使用语言模型丢失来训练和生成不包含GAN的文本。

所以哪个更好: GPT对RelGAN/LeakGAN/SeqGAN/TextGAN

我对这个问题很困惑。

Answer 1

根据[Caccia等人，2018年年]，一般来说，在几个质量度量方面，文本GANs并不是LMs的对手。以下是该文件的结论：

这项研究表明，经过良好调整的语言模型是一个非常强的基线，温度扫描可以提供一个非常清晰的模型性能特征。经过良好调整的语言模型的性能优于考虑过的GAN变体，这是在本地和更令人惊讶的全球质量和多样性度量标准上进行的。我们的温度扫描框架与接收器操作曲线有着共同的特性。类似地，如果需要单个标量来比较NLG模型，就可以计算曲线下的面积，并以最小的值寻找模型(对于我们考虑的度量而言，越低越好)。基于GAN的生成模型在实际值数据上已被证明是有效的，但在向离散数据转移方面存在许多棘手的有害问题。这些问题必须克服，然后才能改善强有力的MLE基线。在所考虑的数据集和任务中，暴露偏差引起的潜在问题少于在离散数据中对GANs进行培训的问题。GAN训练最终可能会取得丰硕的成果，但这一研究明确了其必须首先超越的界限。

这样，OpenAI的GPT和GPT-2在文本生成质量上可以被认为优于当前的文本GANs。