- 综合排序
- 最热优先
- 最新优先
- 来自专栏IT技术订阅
DeepSeek分布式模型训练详解
一、分布式训练架构 （一）计算集群架构 DeepSeek的训练环境是一个大规模的计算集群，例如DeepSeek-V3使用了配备2048个NVIDIA H800 GPU的集群，每个计算节点包含8个GPU 三、训练过程 （一）预训练阶段 DeepSeek-V3使用了14.8T高质量且多样化的token进行预训练，预训练过程表现出了较高的稳定性。 四、模型配置与超参数设置 （一）模型配置 以DeepSeek-V3为例，其模型配置包括序列长度、隐藏层大小、层数、头数等参数。例如，序列长度为4096，隐藏层大小为2048，层数为3，头数为8。 （二）超参数设置 DeepSeek-V3采用AdamW优化器，预训练阶段最大序列长度为4K，在14.8T token上进行训练。学习率调度采用线性增加、保持和余弦衰减的策略。 七、总结 DeepSeek的分布式模型训练技术在大规模预训练语言模型的训练过程中发挥了重要作用。
1.5K11编辑于 2025-02-18 - 来自专栏算法一只狗
DeepSeek V3把训练大模型的成本给干下来了
一夜之间，DeepSeek突然之间炸场，各个大佬都在纷纷转发，而且发布即开源，直接用50多页的论文公布了其训练细节简单来说，DeepSeek V3是个拥有671B参数的MoE模型，每个token可以激活 原生就是FP8混合精度训练框架，并首次验证其在超大规模模型上的有效性训练大模型也可以很省钱DeepSeek V3延续了便宜又快的训练思路。 用训练一个模型所花费的钱来说，训练一个DeepSeek V3只需要花费557.6万美元，相比之下，一个简单的7B Llama 3模型则需要花费76万美元。 比起动辄几百亿人民币都训练不出来一个好用的大模型，DeepSeek V3的训练简直颠覆了大家的想象。 其他像GPT-4o、Claude3.5等模型，价格都比较昂贵。模型的一些训练细节DeepSeek V3除了使用了FP8之外，还有一些其他的模型细节。
7K20编辑于 2024-12-29 - 来自专栏人工智能
腾讯云AI实战：DeepSeek模型训练与微调
那么本文就来详细介绍如何使用腾讯云的工具进行DeepSeek模型的训练和微调，帮助大家快速上手并深入理解模型训练的实际操作。 DeepSeek致力于研究和开发先进的通用人工智能模型AGI，其模型包括DeepSeek LLM、DeepSeek MoE、DeepSeek V2、DeepSeek-V3等，并且全部开源。 从零开始：DeepSeek模型训练接下来就来从头开始进行DeepSeek模型训练。（一）准备工作在开始训练之前，需要做些准备工作，如下所示：注册腾讯云账号：访问腾讯云官网，注册账号并完成实名认证。 TI One平台进行DeepSeek模型训练，可以通过下面步骤完成。 1、创建训练任务在TI One平台上创建一个新的训练任务，选择DeepSeek模型，并配置训练参数。
4.6K82编辑于 2025-02-06 - 来自专栏《C++与 AI：个人经验分享合集》
《探秘DeepSeek优化器：解锁模型训练的高效密码》
在人工智能领域，模型训练的效率与效果紧密关联着其应用前景。DeepSeek作为备受瞩目的大语言模型，在众多自然语言处理任务中表现出色，这背后，适配的优化器功不可没。 今天，就让我们一同深入剖析DeepSeek使用的优化器特点，以及它们如何精准满足模型训练需求。 自适应学习率调节，灵活应对训练动态 DeepSeek采用的优化器具备自适应学习率调整机制。 在DeepSeek处理大规模文本数据时，这种自适应学习率调整机制让模型能根据不同阶段的训练需求，灵活调整参数更新步长，有效提升训练效率与效果 。 这种对分布式训练的良好支持，使得DeepSeek能够利用大规模集群的计算能力，处理海量数据，训练出更强大的模型 。 DeepSeek使用的优化器凭借自适应学习率调节、高效梯度处理、分布式训练支持以及与模型架构的深度适配等特点，为模型训练提供了强大助力。
41110编辑于 2025-02-20 - 来自专栏罗西的思考
Facebook如何训练超大模型 --- (3)
[源码分析] Facebook如何训练超大模型 --- (3) 目录 [源码分析] Facebook如何训练超大模型 --- (3) 0x00 摘要 0x01 ZeRO-Offload 1.1 设计原则 分布式训练 Parameter Sharding 之 Google Weight Sharding [源码分析] Facebook如何训练超大模型---(1) [源码分析] Facebook如何训练超大模型 0x02 卸载策略 ZeRO-Offload旨在通过在训练期间将一些模型状态从GPU卸载到CPU内存，从而在单个或多个GPU上实现高效的大型模型训练。 如前所述，模型状态：参数、梯度和优化器状态，是大型模型训练中内存瓶颈的主要来源。通过将这些模型状态的一部分卸载到CPU，ZeRO-Offload可以训练更大的模型。然而，确定最佳的卸载策略并非易事。 一般来说，大型模型往往会导致OOM错误，而FairScale OffloadModelAPI使用户能够在有限的GPU资源上训练大型模型，从而实现了大规模分布式训练。
2K21编辑于 2022-11-28 DeepSeek-V3 高效训练关键技术分析
DeepSeek-V3高效训练关键技术分析本文从模型架构、并行策略、通信优化和显存优化四个方面展开，深入分析了DeepSeek-V3高效训练的关键技术，探讨其如何以仅5%的算力实现对标GPT-4o的性能 前言今年春节DeepSeek-V3&R1对国内外AI圈产生了巨大的影响，其本质在于开拓了一条不同于OpenAI训练方法的道路，证明了通过模型架构和训练方法的极致优化，能够基于更少的算力资源训练出同等能力水平的大模型 本文试图探究DeepSeek为什么能够利用5%的算力训练出对标GPT-4o的先进模型，由于DeepSeek-R1源于DeepSeek-V3架构，且DeepSeek-V3论文中讲述了更多高效训练方法相关的内容 ，所以本文将以DeepSeek-V3为研究对象，分析其在高效训练方面都采用了哪些关键技术，未来再单独针对DeepSeek-R1进行分析总结。! 总结通过上述对DeepSeek-V3高效训练关键技术的分析，我们能够看出，DeepSeek-V3之所以能够利用5%的算力训练出对标GPT-4o的先进模型，与其创新性的模型架构设计、高效的并行策略选择以及对集群通信和显存的极致优化密不可分
38210编辑于 2026-05-28- 来自专栏Bug Engineer
3分钟学会给deepseek投喂数据训练模型！打造专属AI小助理
在上一篇博客中，我们已经安装了Ollma和Page Assist（如果没有安装请看上一篇花5分钟进行安装），这时候我们就可以给deepseek投喂数据了，让它更好的为我们自己服务！ pull nomic-embed-text 点击回车，等待安装完成~ （前提是已经安装Ollma~） nomic-embed-text 是一个基于 Sentence Transformers 库的句子嵌入模型 第二步：设置Page Assist 打开我们已经安装的谷歌插件Page Assist，点击右上角设置 按图点击RAG设置，并选择文本嵌入模型nomic-embed-text，点击保存 第三步：投喂模型
6.5K11编辑于 2025-02-21 - 来自专栏大模型成长之路
【大模型学习 | DeepSeek-V3原理】
DeepSeek-V3 Technical Report DeepSeek-V3 的基本框架还是 Transformer。 另外，V3 模型是通过将预测多token作为训练目标。本文主要是对DeepSeek-V3的模型框架以及训练目标进行讨论。 什么是负载平衡？ ✅ Yes ✅ 无偏置 目前的模型权重已开源： https://huggingface.co/deepseek-ai/DeepSeek-V3-Base 者由于设备限制无法对 V3模型进行体验。 有兴趣的同学可以自行下载模型权重： mode_name_or_path = '/root/autodl-tmp/deepseek-ai/DeepSeek-V3-Base' tokenizer = AutoTokenizer.from_pretrained
1.7K21编辑于 2025-07-25 - 来自专栏老张的求知思考世界
DeepSeek模型的基本原理与训练方法
本月初，即9月1日当天，DeepSeek公布了其大模型的基本原理和训练方法，下面是我整理的核心内容。 原文链接如下： https://cdn.deepseek.com/policies/zh-CN/model-algorithm-disclosure.html 一、模型的基本原理 DeepSeek模型基于大语言模型 模型运行分为两个阶段： 训练阶段：包括预训练和优化训练(微调)。 DeepSeek所有模型均开源，通过MIT协议公开发布权重、参数和推理代码，并提供完整技术报告供社区参考。 风险控制：DeepSeek贯穿生命周期实施安全措施（如内部管理制度、模型安全评估、红队测试、增强透明度）。
1.6K10编辑于 2025-10-10 - 来自专栏人工智能领域
DeepSeek Model Zoo：解锁预训练模型的宝藏地图（1218）
摘要：DeepSeek Model Zoo 是一个集多种先进预训练模型于一体的宝库，涵盖自然语言处理（NLP）、计算机视觉（CV）和语音等多个领域。 DeepSeek Model Zoo 作为一个集多种先进预训练模型于一体的宝库，为研究者和开发者们提供了丰富的资源和强大的工具 。 这样，新模型不仅继承了预训练模型的强大语言处理能力，还能快速适应医疗领域的特殊语言表达和任务需求，大大提高了模型的训练效率和性能。 领域适配策略：定制专属模型 DeepSeek 针对不同领域的特点，制定了一系列精准有效的迁移学习策略 。在选择预训练模型时，会充分考虑目标领域与预训练数据的相关性。 outputs.logits predicted_label = logits.argmax(-1).item() # 输出预测结果 print(f"预测的类别索引：{predicted_label}") 3.
55910编辑于 2025-02-28 - 来自专栏AI
DeepSeek NSA：突破数据瓶颈，开启AI模型训练新范式
近日，中国AI公司深度求索（DeepSeek）发布了一项名为神经缩放增强（Neural Scaling Augmentation, NSA）的技术，通过创新的数据生成与模型优化方法，为突破现有训练瓶颈提供了全新的解决方案 DeepSeek NSA的核心创新在于将数据生成与模型训练深度融合： 动态数据合成引擎：通过预训练模型分析现有数据分布，生成符合任务需求的高质量合成数据，同时引入对抗性样本以增强鲁棒性； 缩放感知训练框架 ：在训练过程中动态调整合成数据与真实数据的比例，结合课程学习策略，使模型逐步适应不同复杂度场景； 参数效率优化：通过稀疏激活和分层注意力机制，减少冗余计算，使模型在较小参数量下实现接近大型模型的性能。 行业影响：AI民主化的新里程碑DeepSeek NSA的推出可能引发行业级变革。 结语DeepSeek NSA的诞生标志着AI基础研究从“暴力缩放”向“智能缩放”的转型。随着合成数据生成、模型高效训练等技术的成熟，人工智能有望摆脱对数据规模的过度依赖，进入更可持续的发展阶段。
88000编辑于 2025-02-18 - 来自专栏人工智能
【Deepseek】DeepSeek-R1训练方式分析
.纯强化学习训练的语言模型 DeepSeek-R1-Zero研究者首先提出了一个完全基于强化学习(RL)训练的模型DeepSeek-R1-Zero,该模型不依赖任何有监督微调(SFT)数据。 通过RL训练,DeepSeek-R1-Zero展现出了许多强大而有趣的推理行为,如自我验证、反思、生成长推理链等。这标志着纯RL训练语言模型是可行的,为未来研究指明了方向。 具体来说,DeepSeek-R1的训练分为四个阶段:1)冷启动阶段：收集数千条长推理链数据,在此基础上对预训练语言模型进行微调,作为后续RL的起点。 RL训练一直进行到在推理任务上收敛。(3)拒绝采样和有监督微调阶段:使用RL收敛后的模型,通过拒绝采样的方式生成新的SFT数据。 3.基于RL蒸馏的高效推理模型为了进一步将DeepSeek-R1的推理能力赋予更高效的小模型,研究者也探索了基于RL的知识蒸馏方法。
1.2K10编辑于 2025-02-12 - 来自专栏简书专栏
目标检测第3步-模型训练
从上图中可以看出，模型成功调用显卡，开始训练了。 但是训练经过一段时间后会报错，如下图所示： ? image.png 修改代码文件model_lib.py完成后，则可以在cmd中重新输入命令开启模型训练。 模型训练稳定地进行一段时间后，会做一次模型评估，如下图所示。 所以如果读者看到下图中的情况，则说明模型训练很顺利。 ? image.png 6.查看模型训练状况 模型训练稳定地进行后，在桌面的目标检测文件夹中重新打开cmd。 在GRAPHS标签界面中可以查看模型的整体架构。 ? image.png 7.总结 1.本文详细介绍了在Windows操作系统的环境中如何训练自己的目标检测模型。 如果读者有Linux的主机，本文作者建议为了工作效率，应该使用Linux主机做模型训练。 3.在测试集的图片中，有的图片目标检测效果不错，下面给出了2张演示图。 ? 预测结果1 ? 预测结果2
2.3K20发布于 2018-12-21 - 来自专栏Python与算法之美
训练模型的3种方法
一般通过nn.Module来构建模型并编写自定义训练循环。 为了更加方便地训练模型，作者编写了仿keras的Pytorch模型接口：torchkeras， 作为Pytorch的高阶API。 构建模型的3种方法(继承nn.Module基类，使用nn.Sequential，辅助应用模型容器) 训练模型的3种方法(脚本风格，函数风格，torchkeras.Model类风格) 使用GPU训练模型( 单GPU训练，多GPU训练) 本篇我们介绍训练模型的3种方法。 下面以minist数据集的分类模型的训练为例，演示这3种训练模型的风格。 三，类风格 此处使用torchkeras中定义的模型接口构建模型，并调用compile方法和fit方法训练模型。 使用该形式训练模型非常简洁明了。推荐使用该形式。
2K20发布于 2020-07-20 - 来自专栏wayn的程序开发
DeepSeek爆了，普通人如何3小时完全从0训练自己的大模型
它让我们可以用普通电脑，在短短 3 小时内训练出一个迷你版的 ChatGPT！ 为防止误读，「最快 3 小时」是指您需要具备＞作者本人硬件配置的机器，具体规格的详细信息将在下文提供。 目前市面上的大语言模型动辄上百亿参数，训练成本高昂。就算是自己想学习和研究，也会被巨大的硬件门槛挡在门外。 而 MiniMind 通过精妙的设计，把模型参数压缩到了最小，让个人开发者也能亲手训练 AI 模型！ 最小版本仅有 26M 大小（约为 GPT-3 的 1/7000），一张普通的游戏显卡就能运行。 技术学习与研究 了解大语言模型的工作原理 实践各种训练方法 尝试模型优化和改进 3. （MoE） 提供 4×26M 的混合专家模型 通过专家分工提升模型能力 保持较低的计算资源需求 灵活的部署选项 支持单卡/多卡训练 兼容主流深度学习框架 提供网页交互界面 上手有多简单？
1.4K10编辑于 2025-02-06 - 来自专栏开源项目搭建
简单3步部署本地国产大模型DeepSeek大模型
简单3步部署本地国产大模型DeepSeek大模型DeepSeek是最近非常火的开源大模型，国产大模型 DeepSeek 凭借其优异的性能和对硬件资源的友好性，受到了众多开发者的关注。 无奈，在使用时候deepseek总是提示服务器繁忙，请稍后再试。本文将介绍如何通过简单 3 步在本地部署 DeepSeek 大模型，让你能够轻松体验这一强大的 AI 工具。 GeForce RTX 4070Ti可以运行大模型deepseek-r1的哪个版本的大模型？ 它支持各种LLM，包括Llama 3、Mistral和Gemma。提供了类似OpenAI的API接口和聊天界面,可以非常方便地部署最新版本的GPT模型并通过接口使用。 查看版本信息命令1：ollama version命令2：ollama -v命令3：ollama --version功能：显示当前Ollama工具的版本信息。查看快捷键命令：/?
7K33编辑于 2025-02-06 - 来自专栏人人都是极客
3.训练模型之在GPU上训练的环境安装
一般来说我们会在笔记本或者 PC 端编写模型和训练代码，准备一些数据，配置训练之后会在笔记本或者 PC 端做一个简单验证，如果这些代码数据都 OK 的话，然后真正的训练放在计算力更强的的计算机上面执行， 继续训练 前面花了一点时间来配置 GPU 的环境，现在是时候继续我们的训练了。 当然还是需要在这台机器上面根据上一课时的内容完成 Object Detection API 的安装和配置；下载 Pre-trained 模型，然后把本地的训练目录打包上传，接着根据具体的路径修改 pipeline.config 中的相应项；最后运行训练脚本，这次的输出是这样的： ? 一个训练的流程就跑完了，我们配置好了深度学习的软硬件环境，下节课我们开始准备数据，训练自己的模型吧。
3.7K61发布于 2018-03-16 - 来自专栏IT技术订阅
DeepSeek EP并行专家通信技术解析：打破大模型训练瓶颈
随着模型规模的不断扩大，传统的通信机制逐渐暴露出瓶颈，难以满足高效并行计算的需求。在此背景下，DeepSeek开源的DeepEP通信库应运而生，为解决这一问题提供了新的思路和技术方案。 本文将深入解析DeepSeek EP并行专家通信技术的核心机制，并探讨其在实际应用中的重要意义。 这些模型通过海量参数和复杂的神经网络结构，实现了对自然语言的高效理解和生成。然而，随着模型规模的不断增大，传统的单机训练模式已无法满足需求，分布式训练成为必然选择。 为了解决这些问题，DeepSeek开源了DeepEP通信库，专为MoE模型设计，旨在通过优化通信机制，打破大模型训练和推理的瓶颈，提升分布式计算的效率。 三、DeepEP通信库的实际意义 （一）提升训练效率 在大规模分布式训练中，通信效率是制约模型训练速度的关键因素之一。传统的通信机制往往存在带宽瓶颈和延迟问题，导致模型的迭代速度缓慢。
1.5K00编辑于 2025-02-27 - 来自专栏AI研思录
白话科普 | 看完即可上手DeepSeek训练，构建专属大模型，LoRA技术让你轻松训练行业大模型
无论是ChatGPT、GitHub Copilot，还是最近爆火的DeepSeek，背后都离不开微调技术的身影。 微调的基本概念 微调（Fine-tuning）是指在已经训练好的大模型基础上，针对特定任务或场景进行进一步训练的过程。与从零开始训练一个模型相比，微调可以大幅降低时间、计算资源和数据的需求。 使用交叉验证：通过多次划分训练集和验证集，评估模型的泛化能力。 调整超参数：如学习率、批量大小等。 unsetunset3. 联邦学习与隐私保护 联邦学习是一种分布式机器学习方法，允许多个设备或机构在不共享数据的情况下共同训练模型。未来，微调技术可能会与联邦学习相结合，从而在保护数据隐私的同时实现模型的优化。 3. DeepSeek的成功只是一个开始，未来还有无数机会等待我们去探索。----
2K11编辑于 2025-02-20 - 来自专栏Czy‘s Blog
YOLOV3目标检测模型训练实例
YOLOV3目标检测 从零开始学习使用keras-yolov3进行图片的目标检测，比较详细地记录了准备以及训练过程，提供一个信号灯的目标检测模型训练实例，并提供相关代码与训练集。 DEMO测试 YOLO提供了模型以及源码，首先使用YOLO训练好的权重文件进行快速测试，首先下载权重文件 https://pjreddie.com/media/files/yolov3.weights 训练模型 之后就可以开始训练了，因为我一开始暂时没有数据，就随便找了几张图片标注后试了一下，因为不足十张，外加我在构建VOC数据集时又划分了一下数据集与训练集，而train.py又默认将数据划分了0.1 当模型训练完成后，就可以加载模型进行图片测试了 import sys import argparse from yolo import YOLO, detect_video from PIL import 模型训练实例 从百度下载了50张信号灯的图片作训练集，实例仅为模型训练的Demo，数据集比较小，相关信息仅供参考。
1.5K10发布于 2020-08-27
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号