- 综合排序
- 最热优先
- 最新优先
- 来自专栏Michael阿明学习之路
4. 训练模型
线性模型正则化 4. 早期停止法（Early Stopping） 本文为《机器学习实战：基于Scikit-Learn和TensorFlow》的读书笔记。 中文翻译参考 1. (100,1) y = 4+3*X+np.random.randn(100,1) plt.plot(X,y,"b.") plt.axis([0,2,0,15]) ? 多项式回归 依然可以使用线性模型来拟合非线性数据 一个简单的方法：对每个特征进行加权后作为新的特征 然后训练一个线性模型基于这个扩展的特征集。 这种方法称为多项式回归。 上图显示训练集和测试集在数据不断增加的情况下，曲线趋于稳定，同时误差都非常大，欠拟合 欠拟合，添加样本是没用的，需要更复杂的模型或更好的特征 模型的泛化误差由三个不同误差的和决定： 偏差：模型假设不贴合 ，高偏差的模型最容易出现欠拟合 方差：模型对训练数据的微小变化较为敏感，多自由度的模型更容易有高的方差（如高阶多项式），会导致过拟合 不可约误差：数据噪声，可进行数据清洗 3.
76540发布于 2021-02-19 - 来自专栏IT技术订阅
DeepSeek分布式模型训练详解
随着人工智能技术的飞速发展，大规模预训练语言模型（LLM）逐渐成为研究和应用的热点。DeepSeek作为一款高性能的预训练语言模型，其分布式模型训练技术在业界引起了广泛关注。 本文将从分布式训练架构、关键技术优化、训练过程、模型配置与超参数设置、数据集准备与处理以及训练任务启动等方面，深入解析DeepSeek的分布式模型训练过程。 （二）超参数设置 DeepSeek-V3采用AdamW优化器，预训练阶段最大序列长度为4K，在14.8T token上进行训练。学习率调度采用线性增加、保持和余弦衰减的策略。 七、总结 DeepSeek的分布式模型训练技术在大规模预训练语言模型的训练过程中发挥了重要作用。 同时，通过精心设计的训练过程、模型配置和超参数设置，DeepSeek能够在大规模数据集上进行稳定的训练，并生成高质量的语言模型。
1.5K11编辑于 2025-02-18 - 来自专栏AI工程落地
DeepSeek V4模型原理
CompressedSparseAttention（CSA）这个Attention有三块功能构成：1.KVCompressor负责把N个token的KV压缩成1个，在DeepSeekV4系列模型里，N= 4。 2.LightningIndexer再从压缩后的KV里挑选top-k个KV参与注意力计算，DeepSeekV4Flash模型的k=512，Pro模型的k=1024。 3.因为KVCompressor会把多个token压缩，压缩后的KVEntriy内部的token之间是无法相互看到的，而且语言模型对最近的token是高度依赖的。 默认hc_mult=4模型入口处会把embedding复制成4条流：展开代码语言：PythonAI代码解释hidden_states=inputs_embeds.unsqueeze(2).expand(
57010编辑于 2026-05-09 - 来自专栏人人都是极客
4.训练模型之准备训练数据
终于要开始训练识别熊猫的模型了， 第一步是准备好训练数据，这里有三件事情要做： 收集一定数量的熊猫图片。 将图片中的熊猫用矩形框标注出来。 将原始图片和标注文件转换为TFRecord格式的文件。 收集熊猫图片倒不是太难，从谷歌和百度图片上收集 200 张熊猫的图片，应该足够训练一个可用的识别模型了。 最后需要将数据集切分为训练集合测试集，将图片文件打乱，然后按照 7：3 的比例进行切分： random.seed(42) random.shuffle(all_examples) 最后还需要一个 label map 文件，很简单，因为我们只有一种物体：熊猫 label_map.pbtxt: item { id: 1 name: 'panda' } 训练一个熊猫识别模型所需要的训练数据就准备完了 ，接下来开始在 GPU 主机上面开始训练。
2.4K80发布于 2018-03-16 - 来自专栏罗西的思考
Facebook如何训练超大模型---(4)
[源码分析] Facebook如何训练超大模型 --- (4) 目录 [源码分析] Facebook如何训练超大模型 --- (4) 0x00 摘要 0x01 背景知识 1.1 单精度、双精度和半精度浮点格式的区别 8 路模型并行、64 路管道并行和 8 路数据并行在 4,096 个 NVIDIA A100 GPU 上进行扩展。 分布式训练 Parameter Sharding 之 Google Weight Sharding [源码分析] Facebook如何训练超大模型---(1) [源码分析] Facebook如何训练超大模型 如果采用FP16，则模型占用是FP32的一半，这样可以训练更大的模型，使用更大的batch size，通信量更少。 计算更快。FP16的加速优化可以加快训练和推理的计算。 因此，在相同的超参数下，使用半精度浮点（FP16）和单精度（FP32）浮点的混合精度训练就可以达到与使用纯单精度（FP32）训练相同的准确率，而且模型训练速度可以大大加速。
2K10编辑于 2022-05-09 - 来自专栏人工智能
腾讯云AI实战：DeepSeek模型训练与微调
那么本文就来详细介绍如何使用腾讯云的工具进行DeepSeek模型的训练和微调，帮助大家快速上手并深入理解模型训练的实际操作。 从零开始：DeepSeek模型训练接下来就来从头开始进行DeepSeek模型训练。（一）准备工作在开始训练之前，需要做些准备工作，如下所示：注册腾讯云账号：访问腾讯云官网，注册账号并完成实名认证。 TI One平台进行DeepSeek模型训练，可以通过下面步骤完成。 1、创建训练任务在TI One平台上创建一个新的训练任务，选择DeepSeek模型，并配置训练参数。 2、编写训练脚本编写训练脚本，使用DeepSeek模型进行训练，这里用一个简单的训练脚本示例来给大家分享，具体如下所示：import tencentcloud from tencentcloud.tione.v20211111
4.6K82编辑于 2025-02-06 - 来自专栏《C++与 AI：个人经验分享合集》
《探秘DeepSeek优化器：解锁模型训练的高效密码》
在人工智能领域，模型训练的效率与效果紧密关联着其应用前景。DeepSeek作为备受瞩目的大语言模型，在众多自然语言处理任务中表现出色，这背后，适配的优化器功不可没。 今天，就让我们一同深入剖析DeepSeek使用的优化器特点，以及它们如何精准满足模型训练需求。 自适应学习率调节，灵活应对训练动态 DeepSeek采用的优化器具备自适应学习率调整机制。 在DeepSeek处理大规模文本数据时，这种自适应学习率调整机制让模型能根据不同阶段的训练需求，灵活调整参数更新步长，有效提升训练效率与效果 。 这种对分布式训练的良好支持，使得DeepSeek能够利用大规模集群的计算能力，处理海量数据，训练出更强大的模型 。 DeepSeek使用的优化器凭借自适应学习率调节、高效梯度处理、分布式训练支持以及与模型架构的深度适配等特点，为模型训练提供了强大助力。
41110编辑于 2025-02-20 - 来自专栏AgenticAI
DeepSeek4或已在训练中了，要元旦献礼了吗？
博主今天在用DeepSeek时候，突然遇到久违的"服务器繁忙，请稍后再试"！反复重试的结果都是“服务器繁忙，请稍后重试”。 我以为我只是个例，然而DeepSeek官方交流群，也有部分同学遇到。 所以你就说他是不是在训个下一代比如DeepSeek4，准备献礼元旦？ 根据之前发布的DeepSeek-OCR，可以将输入的图像或者文字进行高效压缩，所我们可以合理的推测下一个DeepSeek4大概率是多模态了，并且还是类似Google Gemini那样的长上下文。 此外，一个合理的推测是可能参数也将达到1T，毕竟Kimi和蚂蚁的Ring都是1T左右参数的模型了。 当然了，还有很多同学在求R2，我只能遗憾的说，番号应该是撤销啦！ 从3.1，3.2就已经是融合模型来，不太可能倒车出R2了。 这次服务繁忙，让我想起年初的梗图，似乎过了很久，其实还不到一年。。。 还有反串的 如果觉得博主分享的不错的话，欢迎关注我呀！
26410编辑于 2025-11-29 - 来自专栏老张的求知思考世界
DeepSeek模型的基本原理与训练方法
本月初，即9月1日当天，DeepSeek公布了其大模型的基本原理和训练方法，下面是我整理的核心内容。 原文链接如下： https://cdn.deepseek.com/policies/zh-CN/model-algorithm-disclosure.html 一、模型的基本原理 DeepSeek模型基于大语言模型 模型运行分为两个阶段： 训练阶段：包括预训练和优化训练(微调)。 DeepSeek所有模型均开源，通过MIT协议公开发布权重、参数和推理代码，并提供完整技术报告供社区参考。 风险控制：DeepSeek贯穿生命周期实施安全措施（如内部管理制度、模型安全评估、红队测试、增强透明度）。
1.6K10编辑于 2025-10-10 - 来自专栏人工智能领域
DeepSeek Model Zoo：解锁预训练模型的宝藏地图（1218）
摘要：DeepSeek Model Zoo 是一个集多种先进预训练模型于一体的宝库，涵盖自然语言处理（NLP）、计算机视觉（CV）和语音等多个领域。 DeepSeek Model Zoo 作为一个集多种先进预训练模型于一体的宝库，为研究者和开发者们提供了丰富的资源和强大的工具 。 这样，新模型不仅继承了预训练模型的强大语言处理能力，还能快速适应医疗领域的特殊语言表达和任务需求，大大提高了模型的训练效率和性能。 领域适配策略：定制专属模型 DeepSeek 针对不同领域的特点，制定了一系列精准有效的迁移学习策略 。在选择预训练模型时，会充分考虑目标领域与预训练数据的相关性。 对于一些与预训练数据分布较为相似的任务，可以对预训练模型的最后几层进行微调，让模型能够更好地适应目标任务的具体需求。
55910编辑于 2025-02-28 - 来自专栏AI
DeepSeek NSA：突破数据瓶颈，开启AI模型训练新范式
近日，中国AI公司深度求索（DeepSeek）发布了一项名为神经缩放增强（Neural Scaling Augmentation, NSA）的技术，通过创新的数据生成与模型优化方法，为突破现有训练瓶颈提供了全新的解决方案 DeepSeek NSA的核心创新在于将数据生成与模型训练深度融合： 动态数据合成引擎：通过预训练模型分析现有数据分布，生成符合任务需求的高质量合成数据，同时引入对抗性样本以增强鲁棒性； 缩放感知训练框架 ：在训练过程中动态调整合成数据与真实数据的比例，结合课程学习策略，使模型逐步适应不同复杂度场景； 参数效率优化：通过稀疏激活和分层注意力机制，减少冗余计算，使模型在较小参数量下实现接近大型模型的性能。 行业影响：AI民主化的新里程碑DeepSeek NSA的推出可能引发行业级变革。 结语DeepSeek NSA的诞生标志着AI基础研究从“暴力缩放”向“智能缩放”的转型。随着合成数据生成、模型高效训练等技术的成熟，人工智能有望摆脱对数据规模的过度依赖，进入更可持续的发展阶段。
88000编辑于 2025-02-18 - 来自专栏人工智能
【Deepseek】DeepSeek-R1训练方式分析
.纯强化学习训练的语言模型 DeepSeek-R1-Zero研究者首先提出了一个完全基于强化学习(RL)训练的模型DeepSeek-R1-Zero,该模型不依赖任何有监督微调(SFT)数据。 通过RL训练,DeepSeek-R1-Zero展现出了许多强大而有趣的推理行为,如自我验证、反思、生成长推理链等。这标志着纯RL训练语言模型是可行的,为未来研究指明了方向。 具体来说,DeepSeek-R1的训练分为四个阶段:1)冷启动阶段：收集数千条长推理链数据,在此基础上对预训练语言模型进行微调,作为后续RL的起点。 研究者利用新数据和部分R1-Zero数据在基础模型上进行了两轮微调。(4)全场景RL阶段:在所有类型的Prompt上进行第二轮RL,进一步提升模型的整体性能,并与人类偏好对齐。 例如,蒸馏后的Qwen-7B在AIME、MATH等测试中全面超越了非推理类模型如GPT-4o;Qwen-14B超过了之前最优的开源模型;Qwen-32B和Llama-70B则在多个任务上显著优于OpenAI-o1
1.2K10编辑于 2025-02-12 DeepSeek-V4模型架构与成本分析
使用缓存输入时，差距进一步扩大：DeepSeek-V4-Pro成本约为某模型5.5的十分之一，约为某机构模型4.7的八分之一。更极致的近零定价属于DeepSeek-V4-Flash（非Pro模型）。 基准测试对比：DeepSeek-V4-Pro接近，但某模型5.5和某机构模型4.7在多数共享测试中仍领先DeepSeek-V4-Pro-Max最好被理解为一个重大的开放权重跃升，而非对所有最新闭门前沿系统的全面击败 训练混合专家（MoE）使其整体协同工作DeepSeek-V4不仅仅是"被训练"出来的，而是通过独特的两阶段范式"培养"出来的。 然而需要注意的是，该公司声称除某中心NPU外，仍使用官方许可的合法某厂商GPU进行DeepSeek V4的训练。该公司还开源了MegaMoE mega-kernel，作为其DeepGEMM库的一部分。 DeepSeek-V4不仅仅是一个新模型；它是现状的挑战。
1.4K10编辑于 2026-04-25- 来自专栏IT技术订阅
DeepSeek EP并行专家通信技术解析：打破大模型训练瓶颈
随着模型规模的不断扩大，传统的通信机制逐渐暴露出瓶颈，难以满足高效并行计算的需求。在此背景下，DeepSeek开源的DeepEP通信库应运而生，为解决这一问题提供了新的思路和技术方案。 本文将深入解析DeepSeek EP并行专家通信技术的核心机制，并探讨其在实际应用中的重要意义。 这些模型通过海量参数和复杂的神经网络结构，实现了对自然语言的高效理解和生成。然而，随着模型规模的不断增大，传统的单机训练模式已无法满足需求，分布式训练成为必然选择。 为了解决这些问题，DeepSeek开源了DeepEP通信库，专为MoE模型设计，旨在通过优化通信机制，打破大模型训练和推理的瓶颈，提升分布式计算的效率。 三、DeepEP通信库的实际意义 （一）提升训练效率 在大规模分布式训练中，通信效率是制约模型训练速度的关键因素之一。传统的通信机制往往存在带宽瓶颈和延迟问题，导致模型的迭代速度缓慢。
1.5K00编辑于 2025-02-27 - 来自专栏计算机视觉战队
让模型训练速度提升2到4倍
近日， MosaicML 推出了一个用于高效神经网络训练的 PyTorch 库「Composer」，旨在更快地训练模型、降低成本，并获得表现更好的模型。 Composer 是一个用 PyTorch 编写的开源库，旨在集成更好的算法来加速深度学习模型的训练，同时实现更低的成本和更高的准确度。 那么，使用 Composer 能够获得怎样的训练效果提升呢？ 多个模型系列的训练中减少的时间和成本。 在 4 小时 27 分钟内将 GPT-2 在 OpenWebText 上的困惑度提高到 24.11（AWS 上 145 美元），比基线快 1.7 倍，便宜 43%。 目前，Composer 的训练器可以应用于众多模型，包括对于 Resnet-50、Resnet-101、UNet 和 GPT-2 的加速。
74310编辑于 2022-08-31 - 来自专栏AI研思录
白话科普 | 看完即可上手DeepSeek训练，构建专属大模型，LoRA技术让你轻松训练行业大模型
无论是ChatGPT、GitHub Copilot，还是最近爆火的DeepSeek，背后都离不开微调技术的身影。 微调的基本概念 微调（Fine-tuning）是指在已经训练好的大模型基础上，针对特定任务或场景进行进一步训练的过程。与从零开始训练一个模型相比，微调可以大幅降低时间、计算资源和数据的需求。 LoRA将其分解为两个低维矩阵（如768×4和4×768），从而显著降低了计算成本。 以一个具体的例子来看： 如果模型原始矩阵维度为1000×1000，需要调整100万个参数。 使用LoRA后，仅需调整1000×4 + 4×1000 = 8000个参数。 DeepSeek的成功只是一个开始，未来还有无数机会等待我们去探索。----
2K11编辑于 2025-02-20 - 来自专栏机器之心
全面打破GPT-4垄断、DeepSeek打下训练成本...2024年大模型领域进展全复盘
DeepSeek v3 真正令人印象深刻的是其训练成本。该模型在 2,788,000 个 H800 GPU 时内完成了训练，估计成本为 5,576,000 美元。 Llama 3.1 405B 训练了 30,840,000 个 GPU 小时，是 DeepSeek v3 的 11 倍，但模型的基准性能却略逊一筹。 同样，训练也是如此。DeepSeek v3 的训练费用不到 600 万美元，这是一个非常好的迹象，表明训练成本可以而且应该继续下降。 DeepSeek v3 的 600 万美元训练成本和 LLM 价格的持续暴跌可能暗示了这一点。 另一种常见的技术是使用较大的模型为较小、较便宜的模型创建训练数据，越来越多的实验室都在使用这种技巧。DeepSeek v3 使用了 DeepSeek-R1 创建的「推理」数据。
93810编辑于 2025-02-03 - 来自专栏Dance with GenAI
图解DeepSeek-R1大模型—推理型大语言模型（LLM）的训练秘密
本文目录： ●大型语言模型（LLM）训练方式回顾 ●DeepSeek-R1 训练配方 ●1 - 长推理链监督式微调（SFT）数据 ●2 - 一个中期高质量推理 LLM（但在非推理任务上表现较差）。 ●DeepSeek-R1 训练配方 DeepSeek-R1 遵循这一通用配方。第一步的详细信息来自之前关于 DeepSeek-V3 模型的论文。 但使创建这个模型成为可能的是之前创建一个名为 DeepSeek-R1-Zero 的早期模型的实验。 R1-Zero 的特殊之处在于它能够在没有标注的 SFT 训练集的情况下在推理任务上表现出色。 冷启动：与 DeepSeek-R1-Zero 不同，为了防止从基础模型开始的 RL 训练的早期不稳定冷启动阶段，对于 DeepSeek-R1，我们构建并收集了一小部分长推理链数据，以微调模型作为初始 RL 》 至此，你应该已经掌握了围绕 DeepSeek-R1 模型的主要训练方法
1.7K20编辑于 2025-02-07 DeepSeek V4模型技术参数与性能分析
中国AI实验室DeepSeek推出了其最新大语言模型DeepSeek V4的两个预览版本，这是对去年V3.2模型及伴随的R1推理模型的备受期待的更新，后者曾席卷AI领域。 该公司表示，DeepSeek V4 Flash和V4 Pro均为混合专家（Mixture-of-Experts）模型，每个模型拥有100万token的上下文窗口——足以让大型代码库或文档用于提示词中。 DeepSeek表示，由于架构改进，这两个模型比DeepSeek V3.2更高效、性能更佳，并且在推理基准上几乎“缩小了”与当前领先模型（无论是开放还是闭源）的差距。 在编程竞赛基准中，DeepSeek表示两款V4模型的性能“与GPT-5.4相当”。 V4 Flash和V4 Pro都仅支持文本，不像许多闭源同行那样支持理解并生成音频、视频和图像。值得注意的是，DeepSeek V4比当今任何前沿模型都便宜得多。
1.2K10编辑于 2026-04-25- 来自专栏《Cloud Studio》
CloudStudio 公开课-DeepSeek R1 模型训练与优化实战
R1 模型训练与优化实战》，这套教程系统解析了DeepSeek R1推理模型的多阶段强化学习与监督微调技术框架，适合AI开发者和研究者掌握前沿大模型训练范式，实现复杂任务场景下的模型性能突破与低成本高效部署 第一章：环境设置与数据准备1.1 课程介绍1.2 环境配置1.3 训练数据集选择第二章：模型架构与训练框架2.1 DeepSeek R1 训练快速概述2.2 选择基本模型2.3 RL 策略模型（R）第三章 5.7 保存我们的小小R1模型第六章：SFT 阶段2与后续优化6.1 以推理为导向的强化学习6.2 拒绝采样6.3 SFT 阶段2后续训练6.4 模型蒸馏如何使用 CloudStudio 公开课第一步进入 cloudstudio.net ——【学习中心】——【DeepSeek R1 模型训练与优化实战】第二步点击章节进入学习第三步进入具体章节，例如【1.3 训练数据集选择】章节。 可以系统化地利用 DeepSeek R1 模型实现从模型优化到实际落地的完整闭环。可生成数十万 10 万条营销文案、可提供稳定的高并发实时 API 服务。心动吗？还等啥呢？！快来体验吧！！
43710编辑于 2025-03-11
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号