- 综合排序
- 最热优先
- 最新优先
- 来自专栏IT技术订阅
DeepSeek分布式模型训练详解
随着人工智能技术的飞速发展，大规模预训练语言模型（LLM）逐渐成为研究和应用的热点。DeepSeek作为一款高性能的预训练语言模型，其分布式模型训练技术在业界引起了广泛关注。 本文将从分布式训练架构、关键技术优化、训练过程、模型配置与超参数设置、数据集准备与处理以及训练任务启动等方面，深入解析DeepSeek的分布式模型训练过程。 七、总结 DeepSeek的分布式模型训练技术在大规模预训练语言模型的训练过程中发挥了重要作用。 通过优化计算集群架构、并行策略、通信和内存管理等方面，DeepSeek能够高效地利用大规模集群的计算资源，实现高性能的模型训练。 同时，通过精心设计的训练过程、模型配置和超参数设置，DeepSeek能够在大规模数据集上进行稳定的训练，并生成高质量的语言模型。
1.5K11编辑于 2025-02-18 - 来自专栏人人都是极客
5.训练模型之利用训练的模型识别物体
接下来我们开始训练，这里要做三件事： 将训练数据上传到训练服务器，开始训练。 将训练过程可视化。 导出训练结果导出为可用作推导的模型文件。 可视化训练过程 将训练过程可视化是一个很重要的步骤，这样可以随时检查学习的效果，对后期的模型调优有很大的指导意义。 OK，现在是时候喝点咖啡，6 个小时以后来收获训练结果了。 导出模型文件 大约 6 个小时以后，模型就训练好了。 现在可以根据业务需求自行的进行训练并应用训练结果了，鼓掌！ 可能有人会问，我们用一个可以识别很多其他物体的模型做转移学习，训练出来了一个可以识别熊猫的模型，那么训练出来模型是不是也可以识别其他物体呢。 答案是否定的，你不能通过转移学习向一个已经训练好的识别模型里面增加可识别的物体，只能通过转移学习来加速你自己模型的训练速度。
2.3K40发布于 2018-04-08 - 来自专栏人工智能
腾讯云AI实战：DeepSeek模型训练与微调
那么本文就来详细介绍如何使用腾讯云的工具进行DeepSeek模型的训练和微调，帮助大家快速上手并深入理解模型训练的实际操作。 从零开始：DeepSeek模型训练接下来就来从头开始进行DeepSeek模型训练。（一）准备工作在开始训练之前，需要做些准备工作，如下所示：注册腾讯云账号：访问腾讯云官网，注册账号并完成实名认证。 TI One平台进行DeepSeek模型训练，可以通过下面步骤完成。 1、创建训练任务在TI One平台上创建一个新的训练任务，选择DeepSeek模型，并配置训练参数。 2、编写训练脚本编写训练脚本，使用DeepSeek模型进行训练，这里用一个简单的训练脚本示例来给大家分享，具体如下所示：import tencentcloud from tencentcloud.tione.v20211111
4.6K82编辑于 2025-02-06 - 来自专栏编程杂记
【YOLOV5模型训练】-模型训练需要改动的几个地方
需要修改的几个地方 1.编写.yaml文件 yaml待修改的参数特别重要一定要核对准确，直接影响模型训练成功与否 2.修改代码部分 1.编写.yaml文件 下载完源码后需要重新编写一个.yaml文件，用了训练自己的模型 /my_dataset/images/train/ #训练集images val: .. 验证集 images # 标签个数 nc: 3 # class names names: [ 'l1', 'l2', 'l3' ] #类别的命名 yaml待修改的参数特别重要一定要核对准确，直接影响模型训练成功与否 2.修改代码部分 打开源码里面的train.py文件 第一个地方改为自己新建的数据集 第二个地方改为自己想要到训练迭代次数 python3 train.py 即可运行
59410编辑于 2024-01-17 - 来自专栏罗西的思考
Facebook如何训练超大模型--- (5)
[源码分析] Facebook如何训练超大模型--- (5) 目录 [源码分析] Facebook如何训练超大模型--- (5) 0x00 摘要 0x01 背景 0x02 思路 2.1 学习建议 2.2 之前文章之中我们谈到了FSDP支持混合精度训练，本篇来看看 Activation recomputation。 分布式训练 Parameter Sharding 之 Google Weight Sharding [源码分析] Facebook如何训练超大模型---(1) [源码分析] Facebook如何训练超大模型 --- (2) [源码分析] Facebook如何训练超大模型 --- (3) [源码分析] Facebook如何训练超大模型---(4) 0x01 背景 激活重新计算（Activation recomputation x = torch.Tensor([[1,2,3]]) y = torch.Tensor([[4,5,6], [7,8,9], [10,11,12]]) z = torch.cat((x,y), dim
1.8K10编辑于 2022-11-28 - 来自专栏福大大架构师每日一题
DeepSeek发布最新论文，5大杀手锏让大模型训练、推理暴涨
前天，全球知名的开源大模型平台DeepSeek在Hugging Face发布了其最新版本V3的论文。 该论文从硬件架构和模型设计两个方面出发，探讨了如何在保持性能不降低的前提下，实现大规模训练和推理的更高效率，以突破现有硬件的限制。 其中，DeepSeek-MoE技术、多头潜在注意力机制、FP8混合精度训练方法以及多标记预测策略成为关键的创新亮点。 在训练技术方面，DeepSeek-V3引入了FP8混合精度训练方案。这种方法在确保模型性能稳定的同时，大幅削减了计算资源消耗，使得大规模模型训练更加经济高效。 虽然现有如GPTQ和AWQ等量化技术已将位宽压缩至8位、4位甚至更低，但它们主要应用于推理阶段以减少内存使用，在训练阶段的应用仍较有限。此前，开源大模型中几乎未见采用FP8进行训练的案例。
1.5K10编辑于 2025-05-17 - 来自专栏《C++与 AI：个人经验分享合集》
《探秘DeepSeek优化器：解锁模型训练的高效密码》
在人工智能领域，模型训练的效率与效果紧密关联着其应用前景。DeepSeek作为备受瞩目的大语言模型，在众多自然语言处理任务中表现出色，这背后，适配的优化器功不可没。 今天，就让我们一同深入剖析DeepSeek使用的优化器特点，以及它们如何精准满足模型训练需求。 自适应学习率调节，灵活应对训练动态 DeepSeek采用的优化器具备自适应学习率调整机制。 在DeepSeek处理大规模文本数据时，这种自适应学习率调整机制让模型能根据不同阶段的训练需求，灵活调整参数更新步长，有效提升训练效率与效果 。 这种对分布式训练的良好支持，使得DeepSeek能够利用大规模集群的计算能力，处理海量数据，训练出更强大的模型 。 DeepSeek使用的优化器凭借自适应学习率调节、高效梯度处理、分布式训练支持以及与模型架构的深度适配等特点，为模型训练提供了强大助力。
41110编辑于 2025-02-20 - 来自专栏人工智能工程技术
YOLOv5模型训练流程说明
一、模型训练流程概述YOLOv5 是一种常见的目标检测模型，在实际应用中，其训练过程通常涉及多个阶段，包括数据处理、模型训练与结果验证等环节。 ，不同模型在计算资源消耗与性能表现上有所差异：模型特点yolov5s结构较轻，计算量较小yolov5m综合性能平衡yolov5l参数较多，检测能力较强yolov5x模型规模较大实际选择通常与计算资源条件和应用需求相关 六、模型训练（Training）模型训练阶段通常基于训练脚本进行，通过配置数据路径和初始权重完成训练过程。 python train.py --data data.yaml --weights yolov5s.pt --epochs 100常见训练过程中涉及的参数包括：预训练权重 十、总结YOLOv5模型训练过程通常涉及数据准备、模型训练以及结果验证等多个环节。模型性能通常受到数据质量、模型结构以及训练参数等因素的综合影响。
36810编辑于 2026-04-13 - 来自专栏老张的求知思考世界
DeepSeek模型的基本原理与训练方法
本月初，即9月1日当天，DeepSeek公布了其大模型的基本原理和训练方法，下面是我整理的核心内容。 原文链接如下： https://cdn.deepseek.com/policies/zh-CN/model-algorithm-disclosure.html 一、模型的基本原理 DeepSeek模型基于大语言模型 模型运行分为两个阶段： 训练阶段：包括预训练和优化训练(微调)。 DeepSeek所有模型均开源，通过MIT协议公开发布权重、参数和推理代码，并提供完整技术报告供社区参考。 风险控制：DeepSeek贯穿生命周期实施安全措施（如内部管理制度、模型安全评估、红队测试、增强透明度）。
1.6K10编辑于 2025-10-10 - 来自专栏人工智能
【Deepseek】DeepSeek-R1训练方式分析
.纯强化学习训练的语言模型 DeepSeek-R1-Zero研究者首先提出了一个完全基于强化学习(RL)训练的模型DeepSeek-R1-Zero,该模型不依赖任何有监督微调(SFT)数据。 通过RL训练,DeepSeek-R1-Zero展现出了许多强大而有趣的推理行为,如自我验证、反思、生成长推理链等。这标志着纯RL训练语言模型是可行的,为未来研究指明了方向。 实验结果表明,经过数千步RL训练后,DeepSeek-R1-Zero在多个推理基准测试中取得了超越监督微调模型的性能。 具体来说,DeepSeek-R1的训练分为四个阶段:1)冷启动阶段：收集数千条长推理链数据,在此基础上对预训练语言模型进行微调,作为后续RL的起点。 纯RL训练揭示了语言模型的惊人学习能力,冷启动数据和多阶段RL进一步优化了训练效果,蒸馏则为RL成果的快速应用铺平了道路。这些RL实践相互配合,支撑起了DeepSeek-R1卓越的推理表现。
1.2K10编辑于 2025-02-12 - 来自专栏人工智能领域
DeepSeek Model Zoo：解锁预训练模型的宝藏地图（1218）
摘要：DeepSeek Model Zoo 是一个集多种先进预训练模型于一体的宝库，涵盖自然语言处理（NLP）、计算机视觉（CV）和语音等多个领域。 DeepSeek Model Zoo 作为一个集多种先进预训练模型于一体的宝库，为研究者和开发者们提供了丰富的资源和强大的工具 。 这样，新模型不仅继承了预训练模型的强大语言处理能力，还能快速适应医疗领域的特殊语言表达和任务需求，大大提高了模型的训练效率和性能。 领域适配策略：定制专属模型 DeepSeek 针对不同领域的特点，制定了一系列精准有效的迁移学习策略 。在选择预训练模型时，会充分考虑目标领域与预训练数据的相关性。 对于一些与预训练数据分布较为相似的任务，可以对预训练模型的最后几层进行微调，让模型能够更好地适应目标任务的具体需求。
55910编辑于 2025-02-28 - 来自专栏AI
DeepSeek NSA：突破数据瓶颈，开启AI模型训练新范式
近日，中国AI公司深度求索（DeepSeek）发布了一项名为神经缩放增强（Neural Scaling Augmentation, NSA）的技术，通过创新的数据生成与模型优化方法，为突破现有训练瓶颈提供了全新的解决方案 DeepSeek NSA的核心创新在于将数据生成与模型训练深度融合： 动态数据合成引擎：通过预训练模型分析现有数据分布，生成符合任务需求的高质量合成数据，同时引入对抗性样本以增强鲁棒性； 缩放感知训练框架 ：在训练过程中动态调整合成数据与真实数据的比例，结合课程学习策略，使模型逐步适应不同复杂度场景； 参数效率优化：通过稀疏激活和分层注意力机制，减少冗余计算，使模型在较小参数量下实现接近大型模型的性能。 行业影响：AI民主化的新里程碑DeepSeek NSA的推出可能引发行业级变革。 结语DeepSeek NSA的诞生标志着AI基础研究从“暴力缩放”向“智能缩放”的转型。随着合成数据生成、模型高效训练等技术的成熟，人工智能有望摆脱对数据规模的过度依赖，进入更可持续的发展阶段。
88000编辑于 2025-02-18 - 来自专栏IT技术订阅
DeepSeek EP并行专家通信技术解析：打破大模型训练瓶颈
随着模型规模的不断扩大，传统的通信机制逐渐暴露出瓶颈，难以满足高效并行计算的需求。在此背景下，DeepSeek开源的DeepEP通信库应运而生，为解决这一问题提供了新的思路和技术方案。 本文将深入解析DeepSeek EP并行专家通信技术的核心机制，并探讨其在实际应用中的重要意义。 这些模型通过海量参数和复杂的神经网络结构，实现了对自然语言的高效理解和生成。然而，随着模型规模的不断增大，传统的单机训练模式已无法满足需求，分布式训练成为必然选择。 为了解决这些问题，DeepSeek开源了DeepEP通信库，专为MoE模型设计，旨在通过优化通信机制，打破大模型训练和推理的瓶颈，提升分布式计算的效率。 三、DeepEP通信库的实际意义 （一）提升训练效率 在大规模分布式训练中，通信效率是制约模型训练速度的关键因素之一。传统的通信机制往往存在带宽瓶颈和延迟问题，导致模型的迭代速度缓慢。
1.5K00编辑于 2025-02-27 - 来自专栏AI研思录
白话科普 | 看完即可上手DeepSeek训练，构建专属大模型，LoRA技术让你轻松训练行业大模型
在AI领域，大模型的预训练就像建造一座摩天大楼的地基，而微调则是为这座大楼装上定制化的窗户和门，让它更适合你的需求。 无论是ChatGPT、GitHub Copilot，还是最近爆火的DeepSeek，背后都离不开微调技术的身影。 微调的基本概念 微调（Fine-tuning）是指在已经训练好的大模型基础上，针对特定任务或场景进行进一步训练的过程。与从零开始训练一个模型相比，微调可以大幅降低时间、计算资源和数据的需求。 /results", evaluation_strategy="epoch", learning_rate=5e-5, per_device_train_batch_size=16 DeepSeek的成功只是一个开始，未来还有无数机会等待我们去探索。----
2K11编辑于 2025-02-20 - 来自专栏Dance with GenAI
图解DeepSeek-R1大模型—推理型大语言模型（LLM）的训练秘密
本文目录： ●大型语言模型（LLM）训练方式回顾 ●DeepSeek-R1 训练配方 ●1 - 长推理链监督式微调（SFT）数据 ●2 - 一个中期高质量推理 LLM（但在非推理任务上表现较差）。 ●DeepSeek-R1 训练配方 DeepSeek-R1 遵循这一通用配方。第一步的详细信息来自之前关于 DeepSeek-V3 模型的论文。 但使创建这个模型成为可能的是之前创建一个名为 DeepSeek-R1-Zero 的早期模型的实验。 R1-Zero 的特殊之处在于它能够在没有标注的 SFT 训练集的情况下在推理任务上表现出色。 冷启动：与 DeepSeek-R1-Zero 不同，为了防止从基础模型开始的 RL 训练的早期不稳定冷启动阶段，对于 DeepSeek-R1，我们构建并收集了一小部分长推理链数据，以微调模型作为初始 RL 》 至此，你应该已经掌握了围绕 DeepSeek-R1 模型的主要训练方法
1.7K20编辑于 2025-02-07 - 来自专栏《Cloud Studio》
CloudStudio 公开课-DeepSeek R1 模型训练与优化实战
R1 模型训练与优化实战》，这套教程系统解析了DeepSeek R1推理模型的多阶段强化学习与监督微调技术框架，适合AI开发者和研究者掌握前沿大模型训练范式，实现复杂任务场景下的模型性能突破与低成本高效部署 第一章：环境设置与数据准备1.1 课程介绍1.2 环境配置1.3 训练数据集选择第二章：模型架构与训练框架2.1 DeepSeek R1 训练快速概述2.2 选择基本模型2.3 RL 策略模型（R）第三章 5.7 保存我们的小小R1模型第六章：SFT 阶段2与后续优化6.1 以推理为导向的强化学习6.2 拒绝采样6.3 SFT 阶段2后续训练6.4 模型蒸馏如何使用 CloudStudio 公开课第一步进入 cloudstudio.net ——【学习中心】——【DeepSeek R1 模型训练与优化实战】第二步点击章节进入学习第三步进入具体章节，例如【1.3 训练数据集选择】章节。 可以系统化地利用 DeepSeek R1 模型实现从模型优化到实际落地的完整闭环。可生成数十万 10 万条营销文案、可提供稳定的高并发实时 API 服务。心动吗？还等啥呢？！快来体验吧！！
43710编辑于 2025-03-11 - 来自专栏开发经验
DeepSeek本地部署+微调训练
本地训练流程（无需专业知识），从数据准备到模型部署的完整操作指南：一、准备训练数据1. 查看显存占用新开命令行窗口执行：watch -n 5 nvidia-smi # 每5秒刷新GPU状态正常情况显存应保持在80%以下2. 建议首次训练先用100条数据测试流程，成功后再扩大数据量。训练方案属于在原有DeepSeek-R1基础上的微调（Fine-tuning），而不是从头创建新模型。 安全回滚方案如果训练效果不好，只需：rm ~/.ollama/models/deepseek-custom.gguf # 删除微调模型ollama run deepseek-r1 # 立即恢复原始版本四、商业合规提醒模型版权：微调后的模型仍需遵守DeepSeek的使用协议数据安全：建议训练数据去除敏感信息，可通过命令检查：grep -r "身份证号|手机号" .
4.1K23编辑于 2025-02-25 - 来自专栏罗西的思考
模型并行分布式训练Megatron (5) --Pipedream Flush
[源码解析] 模型并行分布式训练Megatron (5) --Pipedream Flush 目录 [源码解析] 模型并行分布式训练Megatron (5) --Pipedream Flush 0x00 本系列其他文章为： [源码解析] 模型并行分布式训练Megatron (1) --- 论文 & 基础 [源码解析] 模型并行分布式训练Megatron (2) --- 整体架构 [源码解析] 模型并行分布式训练 2.1 引论 近来，一些工作提出了流水线模型并行以加速模型并行训练。 2.2 背景 在本节中，作者简要概述DNN模型分布式训练的相关技术。 数据并行。 数据并行用于扩展模型训练。 于是人们提出了各种模型并行技术来解决这两个挑战。 模型并行。对于不适合单个worker的大型模型，一般来说使用模型并行训练。
2.4K20编辑于 2022-05-09 - 来自专栏MySQL解决方案工程师
模型训练
与提示相反，在训练的过程中，我们实际上要修改模型的参数。 可以简单的理解为，训练是为模型提供输入的过程，模型猜测出一个对应的输出，然后基于这个输出答案，我们更改模型的参数，令下一次的输出更加接近正确的答案。 模型训练是改变词汇分布的一个更重要的方法，从零开始训练一个模型需要耗费大量的成本，对于一般用户来说是不可能完成的任务。 用户通常会使用一个已经在大规模数据上训练好的预训练模型进行进一步训练，这个预训练模型可能是在一个通用任务或数据集上训练得到的，具有对一般特征和模式的学习能力。 训练成本 模型训练需要耗费硬件成本，最后给出一个基于OCI的不同训练方法的硬件成本。
1.1K10编辑于 2024-06-14 - 来自专栏C++领域相关博客
AI语言模型的技术之争：DeepSeek与ChatGPT的架构与训练揭秘
第一章：DeepSeek与ChatGPT的基础概述 1.1 DeepSeek简介 DeepSeek是由中国初创公司DeepSeek所开发的一款大型语言模型。 DeepSeek的训练方法：DeepSeek同样使用了预训练与微调的训练策略，但它特别注重推理任务的训练。 DeepSeek：DeepSeek在模型训练中采用了知识蒸馏技术，这一技术帮助模型从多个子模型中提取并融合知识，从而加速了训练过程，并且在一些特定任务上表现得更加高效。 第五章：代码实现：DeepSeek与ChatGPT的代码对比与实现 我们将从两个方面展示代码： 模型的加载与推理： 如何加载预训练模型并使用其进行推理。 = GPT2LMHeadModel.from_pretrained('gpt2') optimizer = AdamW(model.parameters(), lr=1e-5) 训练过程 在此代码段中
2.2K20编辑于 2025-02-13
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号