- 综合排序
- 最热优先
- 最新优先
- 来自专栏大鹅专栏：大数据到机器学习
基于GPT2制作一个chatbot
后半篇会大概尝试讲述一下GPT2的原理以及调优。 话不多说，先来把这篇文章可能是最复杂的部分，开发与运行环境给准备好差不多完成demo一半了。 2.
2.3K62发布于 2021-09-14 - 来自专栏新智元
奥特曼本人确认：神秘gpt2不是GPT-4.5！
最近，Sam Altman在哈佛大学演讲中，向所有人确认了这不是OpenAI下一代的模型。
26410编辑于 2024-05-06 - 来自专栏机器学习AI算法工程
GPT2中文新闻标题生成
向AI转型的程序员都关注了这个号 机器学习AI算法工程 公众号：datayx 项目描述 本项目是一个带有超级详细中文注释的基于GPT2模型的新闻标题生成项目。 本项目参考了GPT2-Chinese、GPT2-chitchat、CDial-GPT、GPT2等多个GPT2开源项目，并根据自己的理解，将代码进行重构，添加详细注释，希望可以帮助到有需要的人。 本项目使用HuggingFace的transformers实现GPT2模型代码编写、训练及测试。 本项目提供的新闻标题模型是一个6层的小模型（其实是穷人没人卡，只能训练小模型），并且在训练该模型过程中，没有加载预训练的GPT2模型而是随机初始化的参数，并且训练轮数较少（5轮，还没收敛完），因此效果一般 本项目的目的是带领大家走一遍GPT2生成模型的训练、测试及部署全部流程。
1.8K50编辑于 2022-08-26 - 来自专栏AINLP
【Github】GPT2-Chinese：中文的GPT2训练代码
推荐一个Github项目：Morizeyao/GPT2-Chinese Chinese version of GPT2 training code, using BERT tokenizer. 作者是AINLP交流群里的杜则尧同学，提供了一份中文的GPT2训练代码，使用BERT的Tokenizer。可以写诗，新闻，小说，或是训练通用语言模型。支持字为单位或是分词模式。支持大语料训练。 ---- GPT2-Chinese Description Chinese version of GPT2 training code, using BERT tokenizer. 中文的GPT2训练代码，使用BERT的Tokenizer。可以写诗，新闻，小说，或是训练通用语言模型。支持字为单位或是分词模式。支持大语料训练。 项目状态 目前项目主要架构已经稳定。 gmail.com Citing @misc{GPT2-Chinese, author = {Zeyao Du}, title = {GPT2-Chinese: Tools for training GPT2
10.6K50发布于 2019-08-28 - 来自专栏机器之心
Llama架构比不上GPT2？神奇token提升10倍记忆？
作者重点研究了基于 GPT2、LlaMA、Mistral 的语言模型架构，其中 GPT2 采用了更新的 Rotary Position Embedding (RoPE) 技术。 如果训练时间充足，作者发现，不论使用何种模型架构，GPT2 或 LlaMA/Mistral，模型的存储效率均可以达到 2bit/param—— 即平均每个模型参数可以存储 2 比特的信息。 如上图 2 所示，在这种情况下，GPT2 模型能比 LlaMA/Mistral 存储超过 30% 的知识，这意味着几年前的模型在某些方面超越了今天的模型。为什么会这样？ 作者通过在 LlaMA 模型上进行架构调整，将模型与 GPT2 的每个差异进行增减，最终发现是 GatedMLP 导致了这 30% 的损失。
36010编辑于 2024-04-12 - 来自专栏相约机器人
【Github】GPT2-Chinese：中文的GPT2训练代码
推荐一个Github项目：Morizeyao/GPT2-Chinese Chinese version of GPT2 training code, using BERT tokenizer. 作者是AINLP交流群里的杜则尧同学，提供了一份中文的GPT2训练代码，使用BERT的Tokenizer。可以写诗，新闻，小说，或是训练通用语言模型。支持字为单位或是分词模式。支持大语料训练。 ---- GPT2-Chinese Description Chinese version of GPT2 training code, using BERT tokenizer. 中文的GPT2训练代码，使用BERT的Tokenizer。可以写诗，新闻，小说，或是训练通用语言模型。支持字为单位或是分词模式。支持大语料训练。 项目状态 目前项目主要架构已经稳定。 gmail.com Citing @misc{GPT2-Chinese, author = {Zeyao Du}, title = {GPT2-Chinese: Tools for training GPT2
4.3K20发布于 2019-09-02 - 来自专栏GiantPandaCV
DeepSpeed结合Megatron-LM训练GPT2模型笔记（上）
主要包含3个部分，第一个部分是基于原始的Megatron如何训练GPT2模型，第二个部分是如何结合DeepSpeed的特性进行训练Megatron GPT2，由于篇幅原因这篇文章只写了第一部分，主要是非常细致的记录了跑起来 Megatron GPT2训练流程碰到的一些问题和如何解决的。 目前，Megatron支持GPT2和BERT的模型并行、多节点训练，并采用混合精度。 GPT2模型的参数量和训练时的理论显存占用。 所以0.3B的GPT2的训练显存占用大约为5.6G+21G=26.6G。
2.8K80编辑于 2023-08-22 - 来自专栏水滴
一文介绍如何训练GPT2，让自己的数据会说话
我们可以基于一份文本信息，训练GPT2，然后向它提问，它会根据指定文本的信息，给出回答。 如果你正好对此感兴趣，那就来对地方了。 GPT2根据训练参数的数量，分普通，中等，大型，超大型四个模型，本文以hugging face提供的中等模型gpt2_medium为例，结合Google Colab的GPU来训练。
2.5K60编辑于 2023-10-04 - 来自专栏GiantPandaCV
【DeepSpeed 教程翻译】二，Megatron-LM GPT2，Zero 和 ZeRO-Offload
使用原始的 Megatron-LM 训练 GPT2 设置训练数据 运行未修改的Megatron-LM GPT2模型 开启DeepSpeed DeepSpeed 使用 GPT-2 进行评估 Zero概述 前言 这篇文章主要翻译DeepSpeed的Megatron-LM GPT2 ，Zero零冗余优化器技术，ZeRO-Offload技术。 在本教程中，我们将向 Megatron-LM GPT2 模型添加 DeepSpeed，Megatron-LM GPT2 是一个大而强的 transformer。 请注意，当启用FP16时，Megatron-LM GPT2会在Adam优化器上添加一个包装器。 要开始使用 DeepSpeed 训练 Megatron-LM GPT2 模型，请执行以下命令开始训练。
3.5K10编辑于 2023-08-22 - 来自专栏后端架构
LLM模型与实践之基于MindSpore的GPT2文本摘要
article', ['input_ids']) dataset = dataset.batch(batch_size) return dataset 总结 使用mindnlp库实现GPT2
20410编辑于 2024-07-25 - 来自专栏大数据文摘
OpenAI“大力出奇迹”的GPT2同样适用图像领域，训练性能良好
GPT-3的热度还在发酵，OpenAI又放了个大招。这次的研究往图像界迈出了新的一步。
1.1K20发布于 2020-06-20 - 来自专栏小七的各种胡思乱想
Tunning-Free Prompt：GPT2 & GPT3 & LAMA & AutoPrompt
Instruction，In-Context learning，few-shot learning等等 开篇我们简单介绍下Prompt范式，并以其中的冻结参数Tunning-Free Prompt为线索串联GPT2 第一章介绍Tunning-Free Prompt，在下游任务使用中LM和Prompt都是冻结的，不需要针对下游任务进行微调，可以用于Zero-shot和few-shot场景，主要介绍下GPT2，GPT3 GPT2 GPT2:Language Models are Unsupervised Multitask Learners，2019.2 任务：NLG Prompt: Discrete + Hand 和GPT相比，GPT2的创新就是在“LM是无监督多任务”这个观点上，所以GPT2的评测是基于无finetune的zero-shot场景进行的，旨在证明足够优秀的语言模型是可以不经过微调直接用在不同的下游场景中的 175B大模型在few-shot，zero-shot的模型表现甚至可以比肩微调 GPT3是GPT2的延续，一方面旨在进一步提高模型的zero-shot能力，方法简单粗暴加参数就完事了！
6.9K31编辑于 2023-02-23 - 来自专栏天意云&天意科研云&天意生信云
揭秘：神秘GPT2并非GPT-5。但OpenAI会颠覆Google！期待5.9日~
奥特曼本人辟谣：gpt2非GPT-4.5 因为在随后OpenAI的奥特曼亲自在哈佛大学的演讲中澄清： “近期在AI社区引发广泛猜测的GPT-2 Chatbot，并非GPT-4.5模型。
21610编辑于 2025-03-06 - 来自专栏小七的各种胡思乱想
Tunning-Free Prompt：GPT2 & GPT3 & LAMA & AutoPrompt
Instruction，In-Context learning，few-shot learning等等 开篇我们简单介绍下Prompt范式，并以其中的冻结参数Tunning-Free Prompt为线索串联GPT2 第一章介绍Tunning-Free Prompt，在下游任务使用中LM和Prompt都是冻结的，不需要针对下游任务进行微调，可以用于Zero-shot和few-shot场景，主要介绍下GPT2，GPT3 GPT2 GPT2:Language Models are Unsupervised Multitask Learners，2019.2 任务：NLG Prompt: Discrete + Hand 和GPT相比，GPT2的创新就是在“LM是无监督多任务”这个观点上，所以GPT2的评测是基于无finetune的zero-shot场景进行的，旨在证明足够优秀的语言模型是可以不经过微调直接用在不同的下游场景中的 175B大模型在few-shot，zero-shot的模型表现甚至可以比肩微调 GPT3是GPT2的延续，一方面旨在进一步提高模型的zero-shot能力，方法简单粗暴加参数就完事了！
1.3K31编辑于 2023-03-06 - 来自专栏CodeGuide | 程序员编码指南
【部署教程】基于GPT2训练了一个傻狗机器人 - ChatGPT - 2.0
视频演示：https://www.bilibili.com/video/BV1LG4y1P7bo - 也可以通过B站视频，观看GPT2模型部署演示。 二、基础配置环境 OpenAI GPT2 的模型训练和服务使用，需要用到 Python、TensorFlow 机器学习等相关配置，并且这些环境间有些版本依赖。所以为了顺利调试尽可能和我保持一样的版本。
4.3K50编辑于 2023-02-28 - 来自专栏DeepHub IMBA
使用深度学习模型创作动漫故事，比较LSTM和GPT2的文本生成方法
GPT2方式 一点点的理论 Transformers在捕获所提供的文本片段的上下文方面做得更好。 注意力有不同的类型，但GPT2所使用的注意力，是语言建模中最好的模型之一，被称为隐藏的自我注意。 GPT2没有同时使用transformer 编码器和解码器堆栈，而是使用了一个高栈的transformer 解码器。根据堆叠的解码器数量，GPT2转换器有4种变体。 ? 代码 我已经将GPT2与Hugging Face库中的线性模型一起用于文本生成。在这4个变体中，我使用了GPT2 small（具有117M个参数）。 LSTM和GPT2生成的提要之间的差异非常大！该模型不仅能够很好地捕获长期依赖关系，而且上下文始终保持不变。
1.3K30发布于 2020-09-14 对比不同开源大语言模型的结构有什么区别？
这边文章首先从gpt2开始分析，对比gpt2和trainsformer结构的区别，再对比gpt2到llama的演变，最后横向对比LLM时代llama、qwen2、mistral和olmo模型结构的区别。 一、gpt2和transformer结构的区别 都说gpt是把transformer的decoder单独拿出来的结构，这里根据文章中和gpt2的源码对比两个模型结构的区别。 接下来对比gpt2内部attention和mlp部分具体的实现方式。添加图片注释，不超过 140 字（可选） 上图是gpt2 attention操作的实现方式。 二、llama和gpt2结构的区别首先整体对比一下llama和gpt2结构的区别。首先整体对比一下llama和gpt2结构的区别。 四、总结通过上面的对比，可以看到，gpt2在transformer decoder结构上做了一点改进，llama在gpt2的结构上做了一点改进。
2K10编辑于 2024-08-19- 来自专栏机器学习入门
【AI大模型】深入GPT-2模型细节：揭秘其卓越性能的秘密
学习目标 掌握GPT2的架构 掌握GPT2的训练任务和模型细节 GPT2的架构 从模型架构上看, GPT2并没有特别新颖的架构, 它和只带有解码器模块的Transformer很像. GPT2则需要超过6.5GB的存储空间. GPT2模型的细节 以机器人第一法则为例, 来具体看GPT2的工作细节. * 机器人第一法则: 机器人不得伤害人类, 或者目睹人类将遭受危险而袖手旁观. 2.1 模型过程 首先明确一点: GPT2的工作流程很像传统语言模型 小结 学习了GPT2的架构: GPT2只采用了Transformer架构中的Decoder模块. GPT2是在GPT基础上发展处的更强大的语言预训练模型. 学习了GPT2的工作细节: GPT2可以处理最长1024个单词的序列. 每个单词都会和它的前序路径一起"流经"所有的解码器模块. GPT2本质上也是自回归模型.
61210编辑于 2025-01-17 - 来自专栏AI研习社
如何用 GPT2 和 BERT 建立一个可信的 reddit 自动回复机器人？
的 reddit 文本 步骤 2：微调两个 BERT 分类器： a：区分真实回复和 GPT-2 生成的回复 b：预测评论将获得多少次支持 步骤 3：使用 praw 下载当前评论 步骤 4：使用微调的 GPT2
4.2K30发布于 2020-02-21 - 来自专栏学习笔记
【机器学习】与【深度学习】的前沿探索——【GPT-4】的创新应用
") model = GPT2LMHeadModel.from_pretrained("gpt2") train_data = ["your text data here"] # 训练数据 inputs ", num_labels=2) tokenizer = GPT2Tokenizer.from_pretrained("gpt2") def preprocess_function(examples) ") model = GPT2LMHeadModel.from_pretrained("gpt2") # 输入提示 prompt = "In a distant future, humanity has ") model = GPT2LMHeadModel.from_pretrained("gpt2") # 模型量化 quantized_model = quantize_dynamic(model, ") model = GPT2LMHeadModel.from_pretrained("gpt2") # 定义自适应学习函数 def adaptive_learning(model, new_data
48410编辑于 2024-06-22
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号