- 综合排序
- 最热优先
- 最新优先
- 来自专栏Datawhale专栏
图解GPT-2（完整版）！
从这个意义上讲，GPT-2 基本上就是键盘应用程序中预测下一个词的功能，但 GPT-2 比你手机上的键盘 app 更大更复杂。 而最小的 GPT-2 变种，需要 500 MB 的空间来存储它的所有参数。最大的 GPT-2 模型变种是其大小的 13 倍，因此占用的空间可能超过 6.5 GB。 ? 但它们之间的一个重要差异是，GPT-2 和传统的语言模型一样，一次输出一个 token。例如，让一个训练好的 GPT-2 背诵机器人第一定律： ? OpenAI 的 GPT-2 使用了这些 Decoder 模块。 1.5 语言模型入门：了解 GPT2 让我们拆解一个训练好的 GPT-2，看看它是如何工作的。 ? GPT-2 能够处理 1024 个 token。
4.4K31发布于 2020-11-16 - 来自专栏数据科学（冷冻工厂）
从头构建和训练 GPT-2 ｜实战
引言 该项目[1]将引导您完成构建简单 GPT-2 模型的所有步骤，并使用 Taylor Swift 和 Ed Sheeran 的一堆歌曲进行训练。 构建 GPT-2 架构 我们将逐步推进这个项目，不断优化一个基础的模型框架，并在其基础上增加新的层次，这些层次都是基于 GPT-2 的原始设计。 我们将按照以下步骤进行： 制作一个定制的分词工具 开发一个数据加载程序 培养一个基础的语言处理能力 完成 GPT-2 架构的实现（第二部分） 该项目分为两个部分，第一个部分介绍语言建模的基础知识，第二部分直接跳到 GPT-2 实现。 我建议您按照本文进行操作并自己构建它，这将使学习 GPT-2 变得更加有趣和有趣。 最终模型： 1. 构建自定义分词器 语言模型不像我们一样看到文本。相反，它们将数字序列识别为特定文本的标记。
32210编辑于 2024-07-16 - 来自专栏机器学习初学者精选文章
【NLP】图解GPT-2（完整版）
从这个意义上讲，GPT-2 基本上就是键盘应用程序中预测下一个词的功能，但 GPT-2 比你手机上的键盘 app 更大更复杂。 而最小的 GPT-2 变种，需要 500 MB 的空间来存储它的所有参数。最大的 GPT-2 模型变种是其大小的 13 倍，因此占用的空间可能超过 6.5 GB。 ? 但它们之间的一个重要差异是，GPT-2 和传统的语言模型一样，一次输出一个 token。例如，让一个训练好的 GPT-2 背诵机器人第一定律： ? OpenAI 的 GPT-2 使用了这些 Decoder 模块。 1.5 语言模型入门：了解 GPT2 让我们拆解一个训练好的 GPT-2，看看它是如何工作的。 ? GPT-2 能够处理 1024 个 token。
83820发布于 2020-11-17 - 来自专栏量子位
五行代码玩转GPT-2，新加坡高中生开源轻量级GPT-2“客户端”
鱼羊 发自 凹非寺 量子位 报道 | 公众号 QbitAI OpenAI会讲故事的文本生成模型GPT-2，现在有了更易用的封装版本。 轻松上手，轻量级，速度快。 五行代码文本生成 gpt2-client 是 GPT-2 原始仓库的包装器。OpenAI 带来的功能，gpt2-client 一样能实现，并且这个“客户端”更具可访问性，可理解性，也更加易用。 不管是 117M（小型）GPT-2 模型，还是拥有15亿参数的 345M（中型）GPT-2 模型，都能在五行代码以内轻松玩转。还能用轻松适配自定义数据集。 就像这样。 ? 实测几分钟之后，GPT-2就开始编故事了。 ? git clone http://github.com/nshepperd/gpt-2 pip install -r requirements.txt python download_model.py
1.1K20发布于 2019-08-15 - 来自专栏相约机器人
GPT-2生成《神奇宝贝》动漫台词
OpenAI提出的GPT-2模型是AI生成文本中的改变者。今天将展示如何使用模型生成神奇宝贝台词。 GPT-2模型已经在Wikipedia，Reddit和许多其他地方进行了预训练。根据互联网上一组更具体的文本对模型进行微调。这是Internet的子集，由Pokémon动漫剧集摘要组成。 另一个名为prepare_corpus.py的脚本将清除文本并将它们全部合并到一个名为train.txt的文件中，准备与GPT-2一起使用。 模型 GPT-2是基于Transformer的模型，它使用一种称为自我注意的技术，以惊人的自然方式学习单词如何完成或继续句子。 为此找到了一个出色的资源gpt-2-simple python库，该库使所有Tensorflow复杂性基本不可见，并提供了一些非常简单的功能来从GPT-2模型下载，微调和采样。
98520发布于 2019-11-12 spaCy携手Transformers：微调BERT、XLNet和GPT-2
spaCy携手Transformers：微调BERT、XLNet和GPT-2像BERT、GPT-2和XLNet这样的大型Transformer模型已经在几乎所有NLP排行榜上树立了新的准确率标杆。 许多分割相当令人惊讶，例如GPT-2分词器决定将“Laced”分成两个词元：“L”和“aced”。
5210编辑于 2026-03-16- 来自专栏机器之心
完全图解GPT-2：看完这篇就够了（二）
在本系列文章的第一部分中，我们回顾了 Transformer 的基本工作原理，初步了解了 GPT-2 的内部结构。 在本文中，我们将详细介绍 GPT-2 所使用的自注意力机制，并分享只包含解码器的 transformer 模型的精彩应用。 以此类推 GPT-2 的掩模自注意力机制 接下来，我们将更详细地分析 GPT-2 的掩模自注意力机制。 1. 模型评价时：一次只处理一个词 我们可以通过掩模自注意机制的方式执行 GPT-2。 GPT-2 自注意力机制：4-投影 我们将让模型学习如何最好地将连接好的自注意力结果映射到一个前馈神经网络可以处理的向量。 GPT-2 全连神经网络：第二层-投影到模型的维度 第二层将第一层的结果投影回模型的维度大小（小型 GPT-2 的大小为 768）。这个乘法结果是该词经过 transformer 模块处理的结果。
3K30发布于 2019-08-28 - 来自专栏机器之心
不负其名OpenAI，GPT-2模型阶段性公布……
机器之心报道 参与：王淑婷 更大的 GPT-2 模型已经可用了，你还在等什么呢？ 几个月前，OpenAI 发布了强大的通用语言模型 GPT-2，而在宣布这个好消息没多久之后，它又宣布要与开源「say goodbye」。理由是：GPT-2 太好用了！要是不小心被坏人利用怎么办？？ 总之，OPenAI 最近开始开放 GPT-2 模型。 OpenAI 在其博客上表示： 我们正采用两种机制来发布 GPT-2：分阶段发布和基于伙伴关系的共享。 也就是说，OpenAI 准备逐步一点点公开 GPT-2 模型，或者基于合作伙伴的关系给对方分享更大参数的模型。对此，OpenAI 同样给出了自己的理由。 虽然，对于机器学习社区的广大研究者来说，当前能用的 GPT-2 模型不是很大，但好歹是能用了，而且以后会放出更大的模型。这下，OpenAI 终于不负其名了。
48320发布于 2019-05-14 - 来自专栏SimpleAI
LAMBADA——用GPT-2来做文本数据增强
一句话总结: 思路相当简单，利用GPT-2强大的生成能力来进行文本增强，从而在few-shot场景下达到很好的增强效果。 在训练集上对 GPT-2 ( image.png ) 进行 fine-tune，得到 image.png 这一步就是整个文章的核心了。 为了生成我们需要的增强语料，这里的方式是使用我们的训练集，来构造一批语料，让GPT-2继续在该语料上进行Next-word-prediction的训练. 语料如何构建呢？ 作者给出了几个生成的例子： 上述例子，比方Flight time这个class，就是直接对GPT-2输入Flight time [SEP]，然后GPT-2就输出后面这个句子。 比方我们可以在prompt设计，在GPT-2微调的方式上进行更精细地设计，想办法让GPT-2针对给定的标签可以生成更加diverse的样本，都可以作为进一步改进的方向。
1.2K30编辑于 2022-04-19 - 来自专栏AI科技评论
资源 | OpenAI 文本生成器 - gpt-2
Github项目地址： https://github.com/openai/gpt-2 视频：《OpenAI Text Generator - YouTube》by Siraj Raval 地址： https Language Models are Unsupervised Multitask Learners（语言模型是无人监督的多任务学习者）》一文的代码实现 目前，我们只发布了一个较小的（117M参数）版本的GPT 安装 用Git克隆此项目仓库，然后用 cd 进入目录以获取其余命令 git clone https://github.com/openai/gpt-2.git && cd gpt-2 本机安装 下载模型数据 -2： docker build --tag gpt-2 -f Dockerfile.gpu . # or Dockerfile.cpu 从gpt-2 docker镜像启动交互式bash会话。 docker run --runtime=nvidia -it gpt-2 bash 用法 警告：样品未经过滤，可能含有令人反感的内容。 下面的一些示例可能包括Unicode文本字符。
2K30发布于 2019-10-31 - 来自专栏AI研习社
Github项目推荐 | OpenAI文本生成器 - gpt-2
Github项目地址： https://github.com/openai/gpt-2 视频：《OpenAI Text Generator - YouTube》by Siraj Raval 地址： Language Models are Unsupervised Multitask Learners（语言模型是无人监督的多任务学习者）》一文的代码实现 目前，我们只发布了一个较小的（117M参数）版本的GPT 安装 用Git克隆此项目仓库，然后用 cd 进入目录以获取其余命令 git clone https://github.com/openai/gpt-2.git && cd gpt-2 本机安装 下载模型数据 -2： docker build --tag gpt-2 -f Dockerfile.gpu . # or Dockerfile.cpu 从gpt-2 docker镜像启动交互式bash会话。 docker run --runtime=nvidia -it gpt-2 bash 用法 警告：样品未经过滤，可能含有令人反感的内容。 下面的一些示例可能包括Unicode文本字符。
3.9K20发布于 2019-03-14 - 来自专栏DeepHub IMBA
NLP实战：对GPT-2进行微调以生成创意的域名
做好GPT-2之后，我意识到它具有巨大的创作潜力，并且可以证明它在创作文字方面很有用。 因此，我创建了NameKrea，这是一个生成域名的AI。 幸运的是，互联网上不乏网站：) 通过使用CSV文件读取每一行，可以微调GPT-2。在开始抓取之前，我们需要定义该算法可以理解的数据结构类型。 为此，我采用了一种非常简单的方法，即为GPT-2的每个域提供1行文本并提供元描述。 步骤三：AI生成的域名 随机生成的域名很酷，但是如果我们不能向GPT-2发出提示，它就不是很有用。 我可以肯定地说这件事很有创意：D GPT-2当然是令人惊讶的神经网络体系结构。没有GPT-2软件包，这个项目可能要花费更多的时间。
2.7K20发布于 2020-05-09 - 来自专栏机器学习算法与Python学习
【必备】GPT-2没什么神奇的，PyTorch 就可以复现代码
使那些热衷于理解 GPT-2 模型是如何工作的人更好理解。 GPT-2 采用 12 层的，仅有解码器的 transformer 架构。 另一个关于 GPT-2 本身的优秀资源，是 Jay Alammar 的 The Illustrated GPT-2（http://jalammar.github.io/illustrated-gpt2/ 这就是 GPT-2 背后的全部魔法。 The Illustrated GPT-2（http://jalammar.github.io/illustrated-gpt2/ ）是关于 GPT-2 知识最全的博客之一。
75520发布于 2020-02-27 - 来自专栏AI研习社
Github项目推荐 | OpenAI文本生成器 - gpt-2
Github项目地址： https://github.com/openai/gpt-2 视频：《OpenAI Text Generator - YouTube》by Siraj Raval 地址： Language Models are Unsupervised Multitask Learners（语言模型是无人监督的多任务学习者）》一文的代码实现 目前，我们只发布了一个较小的（117M参数）版本的GPT 安装 用Git克隆此项目仓库，然后用 cd 进入目录以获取其余命令 git clone https://github.com/openai/gpt-2.git && cd gpt-2 本机安装 下载模型数据 -2： docker build --tag gpt-2 -f Dockerfile.gpu . # or Dockerfile.cpu 从gpt-2 docker镜像启动交互式bash会话。 docker run --runtime=nvidia -it gpt-2 bash 用法 警告：样品未经过滤，可能含有令人反感的内容。 下面的一些示例可能包括Unicode文本字符。
1.2K40发布于 2019-05-12 - 来自专栏量子位
有人做出了中文版GPT-2，可用于写小说、诗歌、新闻等；15亿参数版GPT-2被两名研究生复现
之后，围绕着GPT-2产生了各种实用性应用：比如能够自动补全代码的Deep TabNine；高中生开源轻量级GPT-2“客户端”等等。 现在，又有两个围绕这一语言AI模型的成果出现。 一是中文版GPT-2开源（非官方），可以写诗，新闻，小说、剧本，或是训练通用语言模型。 二是，两名硕士研究生花5万美元复制了OpenAI一直磨磨唧唧开源的15亿参数版GPT-2。 中文版GPT-2 GPT-2发布以来，虽然关注甚多，但在中文语境中的应用非常少。 最直接的因素，就在于没有中文版，或者说是没有人基于中文语料去大规模复现。 现在，有人这样做了。 GPT-2 Chinese项目传送门： https://github.com/Morizeyao/GPT2-Chinese 15亿参数版GPT-2 能够实现逆天效果GPT-2模型，用到了15亿个参数。 模型上面，他们基于Grover模型，并对代码库进行修改，来实现GPT-2的语言建模训练的目标。
2.1K20发布于 2019-08-28 - 来自专栏机器之心
OpenAI「假新闻」生成器GPT-2的最简Python实现
近日，由 Buzzfeed 数据科学家 Max Woolf 开源的「GPT-2 精简版」出现在 GitHub 上。 文本生成示意 该 Python 包包含以下内容，并对其进行了最小程度的低级更改： 来自 OpenAI 官方 GPT-2 库的模型管理（MIT 许可证） 来自 GPT-2 中 Neil Shepperd 原始 GPT-2 模型在大量来源的文本上进行训练，使该模型包含输入文本中看不到的趋势。 GPT-2 针对每个请求最多只能生成 1024 个 token（约是 3-4 段英语文本）。 当对 GPT-2 进行微调时，它并不清楚较大文本中文档的开头或结尾。你需要使用定制的字符序列来显示文档的开头或结尾。 通过设置一个可分成 nsamples 的 batch_size，你可以使用 GPT-2 生成并行文本，从而加快生成速度。
2.4K30发布于 2019-05-07 - 来自专栏NewBeeNLP
NLP简报（Issue#5）：The Annotated GPT-2、CodeBERT、JAX、GANILLA等
4.1 NLP和ML模型的道德考量 5、Articles and Blog posts ✍️ 5.1 The Annotated GPT-2 5.2 Beyond BERT? 5、Articles and Blog posts ✍️ 5.1 The Annotated GPT-2 Aman Arora最近发表了一篇特别的博客文章，标题为“ The Annotated GPT- 2[23]”，解释了基于Transformer的模型GPT-2的内部工作原理。 Aman付出了巨大的努力，使用PyTorch和Hugging Face的Transformers库重新实现OpenAI的GPT-2。这是出色的工作！ ? 5.2 Beyond BERT? ethical-considerations-in-nlp-research-emily-bender [22] Rachel Thomas和David Uminsky: https://arxiv.org/abs/2002.08512 [23] The Annotated GPT
92220发布于 2020-08-26 - 来自专栏大数据智能实战
基于gpt-2模型（117M预训练模型）的文本自动生成测试
openai的gpt-2模型最近在风口浪尖上。
1.4K30发布于 2019-05-26 - 来自专栏DeepHub IMBA
如何微调GPT-2生成高质量的歌词
2019年初，OpenAI发布了GPT-2，一个巨大的预训练模型(1.5B参数)，能够生成类人质量的文本。 生成预训Transformer2 (GPT-2)，顾名思义，是基于Transformer 的。它使用注意力机制，这意味着它学会关注与上下文最相关的前一个单词，以便预测下一个单词。 本文的目的是向您展示如何调整GPT-2以根据提供的数据生成与上下文相关的文本。 作为一个例子，我将生成歌词。 准备数据 GPT-2本身可以生成高质量的文本。但是，如果您希望它对特定的上下文做得更好，则需要对特定的数据进行微调。 另外，就像我之前提到的，GPT-2是巨大的。很有可能，如果你试图在你的电脑上使用它，你会得到一堆CUDA出内存错误。
1.4K30发布于 2021-05-18 - 来自专栏新智元
Transformer结构及其应用详解——GPT、BERT、MT-DNN、GPT-2
整个结构如下图所示： GitHub链接：https://github.com/namisan/mt-dnn 单向通用模型——GPT-2 GPT-2继续沿用了原来在GPT种使用的单向Transformer 严格来说GPT-2可能不算是一个多任务模型，但是它确实使用相同的模型、相同的参数完成了不同的任务。那么GPT-2是怎么使用语言模型完成多种任务的呢？ GitHub链接：https://github.com/openai/gpt-2 Post Scriptum GPT-2其实最惊人的是其极强的生成能力，而如此强大的生成能力主要还是要归功于其数据质量以及惊人参数量和数据规模 GPT-2的参数量大到用于实验的模型都还处于欠拟合状态，如果接着训练，效果还能进一步提升。 最极端的情况就像是GPT-2这个样子，训练时甚至完全不需要知道后续的下游任务是什么，就能够训练出一个通用的多任务模型。 4.
1K21编辑于 2023-08-05
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号