伯特比GPT3有什么优势吗？

Question

我已经阅读了一些文档，详细解释了GPT-3(产生式预训练变压器-3)在BERT(来自变压器的双向编码器表示)上具有的更大的边缘。所以，我很想知道，在NLP的任何特定区域，伯特是否比GPT-3的分数更高？

值得注意的是，OpenAI的GPT-3不是开源的，而科技巨头谷歌的BERT则是开源的。我觉得OpenAI的立场和GPT-3API的高昂价格与其使命声明(OpenAI的使命是确保人工智能(-by)--我们指的是在最有经济价值的工作中超越人类的高度自治系统-造福全人类)形成了鲜明的对比。

https://analyticsindiamag.com/gpt-3-vs-bert-for-nlp-tasks/ https://thenextweb.com/neural/2020/07/23/openais-new-gpt-3-language-explained-in-under-3-minutes-syndication/ https://medium.com/towards-artificial-intelligence/gpt-3-from-openai-is-here-and-its-a-monster-f0ab164ea2f8

Answer 1

介质上的这篇文章介绍了GPT-3，并与BERT作了一些比较.

具体来说，第四节考察了GPT-3和伯特的不同之处，并提到：“在建筑维度上，伯特仍然保持着优势。它‘S’训练过--这些挑战能够更好地捕捉不同问题背景下文本之间潜在的关系。”

另外，在文章的第6节中，作者列出了GPT-3斗争的领域.这可能是伯特和其他双向编码器/变压器可能做得更好，虽然我还没有数据/参考来支持这一点。

Answer 2

伯特需要做好你想做的事。

GPT-3不能被微调(即使你可以获得实际的重量，微调它将是非常昂贵的)。

如果您有足够的数据进行微调，那么每一个计算单位(即推理成本)，您可能会从伯特获得更好的性能。