复制训练 一种称为“数据并行性”的通用训练配置涉及多个任务,在不同的小批量数据上一个worker工作训练相同的模型,更新ps作业中一个或多个任务中托管的共享参数。所有任务通常运行在不同的机器上。
不同之处在于StagingArea不能保证FIFO排序,但提供更简单的功能,并且可以在CPU和GPU上与其他阶段并行执行。将输入管道分成3个并行独立运行的阶段,可扩展并充分利用大型多核环境。
[tensors_flowing.gif] 数据流是并行计算的常用编程模型。在数据流图中,节点代表计算单位,边代表计算所消耗或产生的数据。
$gmworker->addFunction("reverse", "reverse_fn");print "Waiting for job...
$gmworker->addFunction("reverse", "reverse_fn");print "Waiting for job...
“/job:worker/task:0”和“/job:ps/task:0”都是带有工作服务的任务。“PS”代表“参数服务器”:负责存储和更新模型参数的任务。其他任务在更新这些参数时会优化参数。

扫码关注腾讯云开发者
领取腾讯云代金券
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号:粤B2-20090059
粤公网安备44030502008569号
腾讯云计算(北京)有限责任公司 京ICP证150476号 | 京ICP备11018762号
