- 综合排序
- 最热优先
- 最新优先
- 来自专栏新智元
人手一个ChatGPT！微软DeepSpeed Chat震撼发布，一键RLHF训练千亿级大模型
python train.py --actor-model facebook/opt-1.3b --reward-model facebook/opt-350m --num-gpus 1 配备48GB显存的消费级 如果你只有半天的时间，以及一台服务器节点，则可以通过预训练的OPT-13B作为actor模型，OPT-350M作为reward模型，来生成一个130亿参数的类ChatGPT模型： python train.py --actor-model 那么只需基于下面这行代码，输入你想要的模型大小（如66B）和GPU数量（如64）： python train.py --actor-model facebook/opt-66b --reward-model
56030编辑于 2023-05-09 - 来自专栏自然语言处理
DeepSpeed-Chat：最强ChatGPT训练框架，一键完成RLHF训练！
下面是一个1.3B模型的训练示例: python train.py --actor-model facebook/opt-1.3b --reward-model facebook/opt-350m -- 如果有大约半天的时间并且只有一个服务器节点，官方建议在以下单个脚本中使用预训练的 OPT-13B 作为actor模型和 OPT-350M 作为奖励模型的示例来生成最终的 13B ChatGPT模型： python train.py --actor-model ，如果您可以访问多节点集群或云资源，并且更喜欢为您的研究或业务训练一个更大、更高质量的模型，可以简单地使用具有所需模型大小的类似脚本，例如66B和GPU计数=64 python train.py --actor-model
1.3K30编辑于 2023-08-25 - 来自专栏Java学习专栏博客
DeepSpeed Chat: 一键式RLHF训练，让你的类ChatGPT千亿大模型提速省钱15倍
DeepSpeedExamples.gitcd DeepSpeedExamples/applications/DeepSpeed-Chat/pip install -r requirements.txtpython train.py --actor-model 集群上训练一个更大、更高质量的模型，用于你的研究或业务，你可以使用相同的脚本，只需输入你期望的模型大小（例如 660 亿参数）和 GPU 数量（例如 64 个 GPU）：python train.py --actor-model python train.py --actor-model facebook/opt-1.3b --reward-model facebook/opt-350m --deployment-type single_gpu
57220编辑于 2023-07-11 - 来自专栏NLP/KG
DeepSpeed Chat: 一键式RLHF训练，让你的类ChatGPT千亿大模型提速省钱15倍
cd DeepSpeedExamples/applications/DeepSpeed-Chat/ pip install -r requirements.txt python train.py --actor-model 集群上训练一个更大、更高质量的模型，用于你的研究或业务，你可以使用相同的脚本，只需输入你期望的模型大小（例如 660 亿参数）和 GPU 数量（例如 64 个 GPU）： python train.py --actor-model python train.py --actor-model facebook/opt-1.3b --reward-model facebook/opt-350m --deployment-type single_gpu
46630编辑于 2023-04-22 - 来自专栏NLP/KG
DeepSpeed Chat: 一键式RLHF训练，让你的类ChatGPT千亿大模型提速省钱15倍
DeepSpeedExamples.gitcd DeepSpeedExamples/applications/DeepSpeed-Chat/pip install -r requirements.txtpython train.py --actor-model 集群上训练一个更大、更高质量的模型，用于你的研究或业务，你可以使用相同的脚本，只需输入你期望的模型大小（例如 660 亿参数）和 GPU 数量（例如 64 个 GPU）：python train.py --actor-model python train.py --actor-model facebook/opt-1.3b --reward-model facebook/opt-350m --deployment-type single_gpuModel
1.1K40编辑于 2023-04-19 - 来自专栏机器之心
微软开源DeepSpeed Chat，人人可快速训练百亿、千亿级ChatGPT大模型
DeepSpeedExamples.gitcd DeepSpeedExamples/applications/DeepSpeed-Chat/pip install -r requirements.txt python train.py --actor-model 集群上训练一个更大、更高质量的模型，用于你的研究或业务，你可以使用相同的脚本，只需输入你期望的模型大小（例如 660 亿参数）和 GPU 数量（例如 64 个 GPU）： python train.py --actor-model python train.py --actor-model facebook/opt-1.3b --reward-model facebook/opt-350m --num-gpus 1 表 6.
49020编辑于 2023-04-21 - 来自专栏GiantPandaCV
DeepSpeed-Chat 打造类ChatGPT全流程 笔记一
python train.py --actor-model facebook/opt-1.3b --reward-model facebook/opt-350m --deployment-type single_gpu 如果你只有大约半天的时间并且只有一个服务器节点，我们建议使用以下单个脚本中的预训练OPT-13B作为actor模型，OPT-350M作为reward模型，生成一个最终的130亿参数的ChatGPT风格模型： python train.py --actor-model 如果你有多节点集群或云资源的访问权限，而且更愿意为你的研究或业务训练一个更大、更高质量的模型，你可以简单地使用一个类似的脚本，使用你期望的模型大小，例如，66B 和 64个GPU： python train.py --actor-model 复现单个普通GPU节点上训练一个130亿参数的ChatGPT模型例子 使用的命令如下： python train.py --actor-model facebook/opt-13b --reward-model 最后执行python train.py --actor-model facebook/opt-13b --reward-model facebook/opt-350m --deployment-type
1.7K30编辑于 2023-08-22 - 来自专栏AI算法能力提高班
ChatGPT简介
cd DeepSpeedExamples/applications/DeepSpeed-Chat/ pip install -r requirements.txt python train.py --actor-model
63030编辑于 2023-09-13 - 来自专栏HelloGitHub
哇咔咔干货来啦！PowerJob 原理剖析之 Akka Toolkit
[3] Actor_model wiki: https://en.wikipedia.org/wiki/Actor_model [4] Actor 编程模型浅谈: http://jiangew.me/actor-model
1.7K20发布于 2021-05-14 - 来自专栏山行AI
flink线程模型源码分析1之前篇将StreamTask中的线程模型更改为基于Mailbox的方法
动机 我们提出这个建议的动机是用基于mailbox的方法简化流任务的线程模型(类似于在actor-model中常见的执行模型)。
3.3K31发布于 2021-03-11 - 来自专栏机器之心
专访 | 阿里搜索事业部研究员徐盈辉：剖析阿里背后的强化学习技术
表征模型）运用到监督学习网络中去评估并将结果通过 Policy Gradient（笔者注：策略梯度算法）方式回传非监督学习的迭代优化过程中；不妨用 Actor-Critic 体系来阐述 GAN 的训练思想，Actor-model
2.8K110发布于 2018-05-07
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号