- 综合排序
- 最热优先
- 最新优先
- 来自专栏量子位
让莫扎特“续写”披头士的音乐，OpenAI的新AI作曲能力强丨Demo可玩
逆天模型GPT-2 创作型选手MuseNet背后是一套强大的支持技术，与GTP-2通用无监督学习技术相同。 几个月前，GTP-2生成的假新闻和编造的故事甚至以假乱真，还能完成阅读理解、常识推理、文字预测、文章总结等多种任务。
1K20发布于 2019-05-13 - 来自专栏Datawhale专栏
【必读】2019年深度学习自然语言处理最新十大发展趋势, 附报告下载
2019年，一个新的挑战者已经通过OpenAI GTP-2模型出现，该模型“太危险”不适合发布。通过所有这些活动，很难从实际的业务角度了解这意味着什么。 这对我意味着什么? GTP-2模型的发布受到了很多关注，因为创建者声称，考虑到大规模生成“虚假”内容的可能性，发布完整的预训练模型是危险的。不管它们的发布方法有什么优点，模型本身都是在Transformer架构上训练的。 正如主要的AI专家Quoc Le所指出的，GTP-2版本展示了普通Transformer架构在大规模训练时的威力…… ?
54820发布于 2019-10-30 - 来自专栏DrugOne
DialoGPT：大规模预训练的对话响应模型
3 方法 3.1 模型架构 作者在GTP-2架构的基础上训练DialoGPT模型。作者参考OpenAI GPT-2将多轮会话作为长文本，将生成任务作为语言模型。 6 总结 本文基于Reddit数据集，拓展GTP-2训练了一个预训练模型DialoGPT。
3.2K40发布于 2021-02-01 - 来自专栏深度学习自然语言处理
【NLP必读】2019年深度学习自然语言处理最新十大发展趋势
2019年，一个新的挑战者已经通过OpenAI GTP-2模型出现，该模型“太危险”不适合发布。通过所有这些活动，很难从实际的业务角度了解这意味着什么。 这对我意味着什么? GTP-2模型的发布受到了很多关注，因为创建者声称，考虑到大规模生成“虚假”内容的可能性，发布完整的预训练模型是危险的。不管它们的发布方法有什么优点，模型本身都是在Transformer架构上训练的。 正如主要的AI专家Quoc Le所指出的，GTP-2版本展示了普通Transformer架构在大规模训练时的威力…… ?
72210发布于 2019-11-12 - 来自专栏数据派THU
2019年深度学习自然语言处理最新十大发展趋势
2019年，一个新的挑战者已经通过OpenAI GTP-2模型出现，该模型“太危险”不适合发布。通过所有这些活动，很难从实际的业务角度了解这意味着什么。 这对我意味着什么这项研究能应用于日常应用吗? GTP-2模型的发布受到了很多关注，因为创建者声称，考虑到大规模生成“虚假”内容的可能性，发布完整的预训练模型是危险的。不管它们的发布方法有什么优点，模型本身都是在Transformer架构上训练的。 正如主要的AI专家Quoc Le所指出的，GTP-2版本展示了普通Transformer架构在大规模训练时的威力…… 随着Transformer- xl的发布，Transformer架构本身在2019年已经向前迈出了一步
99830发布于 2019-10-22 - 来自专栏开源服务指南
从文本生成到数据增强：探索 AI 前沿的开源套件 | 开源专题 No.44
代码本身很简洁易懂：train.py 只有大约 300 行样板化训练循环代码和 model.py 只有大约 300 行 GPT 模型定义，可选择从 OpenAI 加载 GTP-2 的权重。
52640编辑于 2023-11-16 - 来自专栏AI科技评论
头条OpenAI不公开发布GPT-2，应该反对还是赞同？
换句话说，GTP-2 表现出的记忆行为比随便取一段人类撰写的文字还要低。如果我们要说这个模型具有非平凡的泛化能力的话，这算是一条挺强力的证据了。 ?
76930发布于 2019-05-08 - 来自专栏海边的拾遗者
广告行业中那些趣事系列20：GPT、GPT-2到GPT-3，你想要的这里都有
GPT使用大约5GB文本数据进行预训练，GTP-2直接使用40GB的文本数据进行预训练。GPT-2使用800W互联网网页数据WebText数据集进行预训练。
98210发布于 2021-01-21 - 来自专栏数据拾光者
广告行业中那些趣事系列20：GPT、GPT-2到GPT-3，你想要的这里都有
GPT使用大约5GB文本数据进行预训练，GTP-2直接使用40GB的文本数据进行预训练。GPT-2使用800W互联网网页数据WebText数据集进行预训练。
48120编辑于 2022-05-05 - 来自专栏大鹅专栏：大数据到机器学习
GPT/GPT2/DialoGPT 详解对比与应用-文本生成与对话
4.1 模型架构 作者在GTP-2架构的基础上训练DialoGPT模型。参考OpenAI GPT-2将多轮会话作为长文本，将生成任务作为语言模型。
9.8K167编辑于 2022-01-22
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号