- 综合排序
- 最热优先
- 最新优先
- 来自专栏Python与算法之美
8，模型的训练
一，分类模型的训练 ? ? ? ? ? ? ? ? ? 二，回归模型的训练 ? ? ? ? ? ? ? ? 三，聚类模型的训练 KMeans算法的基本思想如下： 随机选择K个点作为初始质心 While 簇发生变化或小于最大迭代次数： 将每个点指派到最近的质心，形成K个簇 重新计算每个簇的质心 ? 四，降维模型的训练 PCA主成分分析(Principal Components Analysis)是最常使用的降维算法，其基本思想如下： 将原先的n个特征用数目更少的m个特征取代，新特征是旧特征的线性组合 五，管道Pipeline的训练 使用管道可以减少训练步骤 有时候，我们可以用管道Pipeline把多个估计器estimater串联起来一次性训练数据。 可以结合FeatureUnion 和 Pipeline 来创造出更加复杂的模型。 ?
91431发布于 2020-07-17 - 来自专栏IT技术订阅
DeepSeek分布式模型训练详解
随着人工智能技术的飞速发展，大规模预训练语言模型（LLM）逐渐成为研究和应用的热点。DeepSeek作为一款高性能的预训练语言模型，其分布式模型训练技术在业界引起了广泛关注。 一、分布式训练架构 （一）计算集群架构 DeepSeek的训练环境是一个大规模的计算集群，例如DeepSeek-V3使用了配备2048个NVIDIA H800 GPU的集群，每个计算节点包含8个GPU 具体来说，采用16路流水线并行、跨8个节点的64路专家并行，以及ZeRO-1数据并行。这些并行策略的组合使得DeepSeek能够在大规模集群上高效地进行分布式训练，充分利用集群的计算资源。 四、模型配置与超参数设置 （一）模型配置 以DeepSeek-V3为例，其模型配置包括序列长度、隐藏层大小、层数、头数等参数。例如，序列长度为4096，隐藏层大小为2048，层数为3，头数为8。 七、总结 DeepSeek的分布式模型训练技术在大规模预训练语言模型的训练过程中发挥了重要作用。
1.5K11编辑于 2025-02-18 - 来自专栏人工智能
腾讯云AI实战：DeepSeek模型训练与微调
那么本文就来详细介绍如何使用腾讯云的工具进行DeepSeek模型的训练和微调，帮助大家快速上手并深入理解模型训练的实际操作。 从零开始：DeepSeek模型训练接下来就来从头开始进行DeepSeek模型训练。（一）准备工作在开始训练之前，需要做些准备工作，如下所示：注册腾讯云账号：访问腾讯云官网，注册账号并完成实名认证。 TI One平台进行DeepSeek模型训练，可以通过下面步骤完成。 1、创建训练任务在TI One平台上创建一个新的训练任务，选择DeepSeek模型，并配置训练参数。 2、编写训练脚本编写训练脚本，使用DeepSeek模型进行训练，这里用一个简单的训练脚本示例来给大家分享，具体如下所示：import tencentcloud from tencentcloud.tione.v20211111
4.6K82编辑于 2025-02-06 - 来自专栏《C++与 AI：个人经验分享合集》
《探秘DeepSeek优化器：解锁模型训练的高效密码》
在人工智能领域，模型训练的效率与效果紧密关联着其应用前景。DeepSeek作为备受瞩目的大语言模型，在众多自然语言处理任务中表现出色，这背后，适配的优化器功不可没。 今天，就让我们一同深入剖析DeepSeek使用的优化器特点，以及它们如何精准满足模型训练需求。 自适应学习率调节，灵活应对训练动态 DeepSeek采用的优化器具备自适应学习率调整机制。 在DeepSeek处理大规模文本数据时，这种自适应学习率调整机制让模型能根据不同阶段的训练需求，灵活调整参数更新步长，有效提升训练效率与效果 。 这种对分布式训练的良好支持，使得DeepSeek能够利用大规模集群的计算能力，处理海量数据，训练出更强大的模型 。 DeepSeek使用的优化器凭借自适应学习率调节、高效梯度处理、分布式训练支持以及与模型架构的深度适配等特点，为模型训练提供了强大助力。
41110编辑于 2025-02-20 - 来自专栏老张的求知思考世界
DeepSeek模型的基本原理与训练方法
本月初，即9月1日当天，DeepSeek公布了其大模型的基本原理和训练方法，下面是我整理的核心内容。 原文链接如下： https://cdn.deepseek.com/policies/zh-CN/model-algorithm-disclosure.html 一、模型的基本原理 DeepSeek模型基于大语言模型 模型运行分为两个阶段： 训练阶段：包括预训练和优化训练(微调)。 DeepSeek所有模型均开源，通过MIT协议公开发布权重、参数和推理代码，并提供完整技术报告供社区参考。 风险控制：DeepSeek贯穿生命周期实施安全措施（如内部管理制度、模型安全评估、红队测试、增强透明度）。
1.6K10编辑于 2025-10-10 - 来自专栏人工智能
【Deepseek】DeepSeek-R1训练方式分析
.纯强化学习训练的语言模型 DeepSeek-R1-Zero研究者首先提出了一个完全基于强化学习(RL)训练的模型DeepSeek-R1-Zero,该模型不依赖任何有监督微调(SFT)数据。 通过RL训练,DeepSeek-R1-Zero展现出了许多强大而有趣的推理行为,如自我验证、反思、生成长推理链等。这标志着纯RL训练语言模型是可行的,为未来研究指明了方向。 实验结果表明,经过数千步RL训练后,DeepSeek-R1-Zero在多个推理基准测试中取得了超越监督微调模型的性能。 具体来说,DeepSeek-R1的训练分为四个阶段:1)冷启动阶段：收集数千条长推理链数据,在此基础上对预训练语言模型进行微调,作为后续RL的起点。 纯RL训练揭示了语言模型的惊人学习能力,冷启动数据和多阶段RL进一步优化了训练效果,蒸馏则为RL成果的快速应用铺平了道路。这些RL实践相互配合,支撑起了DeepSeek-R1卓越的推理表现。
1.2K10编辑于 2025-02-12 - 来自专栏人工智能领域
DeepSeek Model Zoo：解锁预训练模型的宝藏地图（1218）
摘要：DeepSeek Model Zoo 是一个集多种先进预训练模型于一体的宝库，涵盖自然语言处理（NLP）、计算机视觉（CV）和语音等多个领域。 DeepSeek Model Zoo 作为一个集多种先进预训练模型于一体的宝库，为研究者和开发者们提供了丰富的资源和强大的工具 。 这样，新模型不仅继承了预训练模型的强大语言处理能力，还能快速适应医疗领域的特殊语言表达和任务需求，大大提高了模型的训练效率和性能。 领域适配策略：定制专属模型 DeepSeek 针对不同领域的特点，制定了一系列精准有效的迁移学习策略 。在选择预训练模型时，会充分考虑目标领域与预训练数据的相关性。 对于一些与预训练数据分布较为相似的任务，可以对预训练模型的最后几层进行微调，让模型能够更好地适应目标任务的具体需求。
55910编辑于 2025-02-28 - 来自专栏AI
DeepSeek NSA：突破数据瓶颈，开启AI模型训练新范式
近日，中国AI公司深度求索（DeepSeek）发布了一项名为神经缩放增强（Neural Scaling Augmentation, NSA）的技术，通过创新的数据生成与模型优化方法，为突破现有训练瓶颈提供了全新的解决方案 DeepSeek NSA的核心创新在于将数据生成与模型训练深度融合： 动态数据合成引擎：通过预训练模型分析现有数据分布，生成符合任务需求的高质量合成数据，同时引入对抗性样本以增强鲁棒性； 缩放感知训练框架 ：在训练过程中动态调整合成数据与真实数据的比例，结合课程学习策略，使模型逐步适应不同复杂度场景； 参数效率优化：通过稀疏激活和分层注意力机制，减少冗余计算，使模型在较小参数量下实现接近大型模型的性能。 行业影响：AI民主化的新里程碑DeepSeek NSA的推出可能引发行业级变革。 结语DeepSeek NSA的诞生标志着AI基础研究从“暴力缩放”向“智能缩放”的转型。随着合成数据生成、模型高效训练等技术的成熟，人工智能有望摆脱对数据规模的过度依赖，进入更可持续的发展阶段。
88000编辑于 2025-02-18 - 来自专栏IT技术订阅
DeepSeek EP并行专家通信技术解析：打破大模型训练瓶颈
随着模型规模的不断扩大，传统的通信机制逐渐暴露出瓶颈，难以满足高效并行计算的需求。在此背景下，DeepSeek开源的DeepEP通信库应运而生，为解决这一问题提供了新的思路和技术方案。 为了解决这些问题，DeepSeek开源了DeepEP通信库，专为MoE模型设计，旨在通过优化通信机制，打破大模型训练和推理的瓶颈，提升分布式计算的效率。 （三）低精度运算支持 在大规模分布式训练中，计算资源的高效利用是关键。为了进一步提升计算效率，DeepEP通信库原生支持低精度运算，如FP8（8位浮点数）。 例如，其FP8智能压缩传输技术可将通信带宽占用减少60%，这对于大规模分布式训练来说是一个巨大的优势。 例如，其FP8智能压缩传输技术可将通信带宽占用减少60%，这对于大规模分布式训练来说是一个巨大的优势。
1.5K00编辑于 2025-02-27 - 来自专栏AI研思录
白话科普 | 看完即可上手DeepSeek训练，构建专属大模型，LoRA技术让你轻松训练行业大模型
在AI领域，大模型的预训练就像建造一座摩天大楼的地基，而微调则是为这座大楼装上定制化的窗户和门，让它更适合你的需求。 无论是ChatGPT、GitHub Copilot，还是最近爆火的DeepSeek，背后都离不开微调技术的身影。 微调的基本概念 微调（Fine-tuning）是指在已经训练好的大模型基础上，针对特定任务或场景进行进一步训练的过程。与从零开始训练一个模型相比，微调可以大幅降低时间、计算资源和数据的需求。 以下是几个关键点： 学习率：控制模型更新的速度，过大容易导致震荡，过小则收敛缓慢。 LoRA配置： r：低秩矩阵的秩，通常设置为1~8，经验值为4。 DeepSeek的成功只是一个开始，未来还有无数机会等待我们去探索。----
2K11编辑于 2025-02-20 - 来自专栏Dance with GenAI
图解DeepSeek-R1大模型—推理型大语言模型（LLM）的训练秘密
本文目录： ●大型语言模型（LLM）训练方式回顾 ●DeepSeek-R1 训练配方 ●1 - 长推理链监督式微调（SFT）数据 ●2 - 一个中期高质量推理 LLM（但在非推理任务上表现较差）。 ●DeepSeek-R1 训练配方 DeepSeek-R1 遵循这一通用配方。第一步的详细信息来自之前关于 DeepSeek-V3 模型的论文。 但使创建这个模型成为可能的是之前创建一个名为 DeepSeek-R1-Zero 的早期模型的实验。 R1-Zero 的特殊之处在于它能够在没有标注的 SFT 训练集的情况下在推理任务上表现出色。 冷启动：与 DeepSeek-R1-Zero 不同，为了防止从基础模型开始的 RL 训练的早期不稳定冷启动阶段，对于 DeepSeek-R1，我们构建并收集了一小部分长推理链数据，以微调模型作为初始 RL 》 至此，你应该已经掌握了围绕 DeepSeek-R1 模型的主要训练方法
1.7K20编辑于 2025-02-07 - 来自专栏《Cloud Studio》
CloudStudio 公开课-DeepSeek R1 模型训练与优化实战
R1 模型训练与优化实战》，这套教程系统解析了DeepSeek R1推理模型的多阶段强化学习与监督微调技术框架，适合AI开发者和研究者掌握前沿大模型训练范式，实现复杂任务场景下的模型性能突破与低成本高效部署 第一章：环境设置与数据准备1.1 课程介绍1.2 环境配置1.3 训练数据集选择第二章：模型架构与训练框架2.1 DeepSeek R1 训练快速概述2.2 选择基本模型2.3 RL 策略模型（R）第三章 5.7 保存我们的小小R1模型第六章：SFT 阶段2与后续优化6.1 以推理为导向的强化学习6.2 拒绝采样6.3 SFT 阶段2后续训练6.4 模型蒸馏如何使用 CloudStudio 公开课第一步进入 cloudstudio.net ——【学习中心】——【DeepSeek R1 模型训练与优化实战】第二步点击章节进入学习第三步进入具体章节，例如【1.3 训练数据集选择】章节。 20000分钟（333小时） 8+TFlops 算力、16GB+显存 的使用配额！什么概念！可以系统化地利用 DeepSeek R1 模型实现从模型优化到实际落地的完整闭环。
43710编辑于 2025-03-11 - 来自专栏贾志刚-OpenCV学堂
【YOLOv8】自定义姿态评估模型训练
前言 Hello大家好，今天给大家分享一下如何基于YOLOv8姿态评估模型，实现在自定义数据集上，完成自定义姿态评估模型的训练与推理。 01 tiger-pose数据集 YOLOv8官方提供了一个自定义tiger-pose数据集（老虎姿态评估），总计数据有263张图像、其中210张作为训练集、53张作为验证集。 kpt_shape=12x2 表示有12个关键点，每个关键点是x,y 02 模型训练 跟训练YOLOv8对象检测模型类似，直接运行下面的命令行即可： yolo train model=yolov8n-pose.pt data=tiger_pose_dataset.yaml epochs=100 imgsz=640 batch=1 03 模型导出预测 训练完成以后模型预测推理测试 使用下面的命令行： yolo predict model=tiger_pose_best.pt source=D:/123.jpg 导出模型为ONNX格式，使用下面命令行即可 yolo export model=tiger_pose_best.pt
1.4K10编辑于 2023-12-26 - 来自专栏叶子的开发者社区
yolov8训练自定义目标检测模型
本文使用Ultralytics的python API进行模型训练，适用于yolov8小白入门，大佬请忽略本文 笔者也是昨天开始学习的小白，如有错误希望多多指正 准备数据集 首先得准备好数据集，你的数据集至少包含 、yolov8n.pt和coco128.yaml这几个文件，yolov8n.yaml是yolov8的配置，yolov8n.pt是预训练的模型，coco128.yaml是coco数据集的配置参数 因此如果我们想要训练自己的模型的话 从0开始训练 下面是从0开始训练的过程 其实训练的代码就两行 model = YOLO("yolov8n.yaml") # build a new model from scratch model.train 人工智能实训\HW2\data\images\100318.jpg") # predict on an image plt.imshow(results[0].plot()) plt.show() 从预训练模型开始训练 官方推荐用预训练好的模型开始训练 首先下载一个官方预训练好的模型 我这里下载的是yolov8n 然后使用预训练模型训练我的数据集 from ultralytics import YOLO import
3K31编辑于 2023-10-19 - 来自专栏开发经验
DeepSeek本地部署+微调训练
本地训练流程（无需专业知识），从数据准备到模型部署的完整操作指南：一、准备训练数据1. ② 添加 --gradient_checkpointing 参数输出乱码检查数据文件是否保存为UTF-8编码模型不加载确认.gguf文件是否放在正确的models目录按照这个流程操作，即使没有AI基础也能完成本地训练 建议首次训练先用100条数据测试流程，成功后再扩大数据量。训练方案属于在原有DeepSeek-R1基础上的微调（Fine-tuning），而不是从头创建新模型。 安全回滚方案如果训练效果不好，只需：rm ~/.ollama/models/deepseek-custom.gguf # 删除微调模型ollama run deepseek-r1 # 立即恢复原始版本四、商业合规提醒模型版权：微调后的模型仍需遵守DeepSeek的使用协议数据安全：建议训练数据去除敏感信息，可通过命令检查：grep -r "身份证号|手机号" .
4.1K23编辑于 2025-02-25 - 来自专栏MySQL解决方案工程师
模型训练
与提示相反，在训练的过程中，我们实际上要修改模型的参数。 可以简单的理解为，训练是为模型提供输入的过程，模型猜测出一个对应的输出，然后基于这个输出答案，我们更改模型的参数，令下一次的输出更加接近正确的答案。 模型训练是改变词汇分布的一个更重要的方法，从零开始训练一个模型需要耗费大量的成本，对于一般用户来说是不可能完成的任务。 用户通常会使用一个已经在大规模数据上训练好的预训练模型进行进一步训练，这个预训练模型可能是在一个通用任务或数据集上训练得到的，具有对一般特征和模式的学习能力。 训练成本 模型训练需要耗费硬件成本，最后给出一个基于OCI的不同训练方法的硬件成本。
1.1K10编辑于 2024-06-14 - 来自专栏C++领域相关博客
AI语言模型的技术之争：DeepSeek与ChatGPT的架构与训练揭秘
第一章：DeepSeek与ChatGPT的基础概述 1.1 DeepSeek简介 DeepSeek是由中国初创公司DeepSeek所开发的一款大型语言模型。 DeepSeek的训练方法：DeepSeek同样使用了预训练与微调的训练策略，但它特别注重推理任务的训练。 DeepSeek：DeepSeek在模型训练中采用了知识蒸馏技术，这一技术帮助模型从多个子模型中提取并融合知识，从而加速了训练过程，并且在一些特定任务上表现得更加高效。 第五章：代码实现：DeepSeek与ChatGPT的代码对比与实现 我们将从两个方面展示代码： 模型的加载与推理： 如何加载预训练模型并使用其进行推理。 第六章：总结与展望 6.1 主要区别总结 通过本篇文章的分析，我们可以看到DeepSeek与ChatGPT在模型架构、训练方法以及应用场景方面有诸多差异。
2.2K20编辑于 2025-02-13 - 来自专栏全栈程序员必看
预训练模型还要训练吗_多模态预训练模型
若使用已保存好的镜像reid_mgn:v1，在本机上可按如下操作训练 # 1.进入已保存环境的镜像（reid_mgn:v1（8.48G）、pytorch/pytorch:1.0.1-cuda10.0 personReID ufoym/deepo:testv1 /bin/bash (75服务器) # 2.进入到工程目录 cd /home/personReID/MGN-pytorch-master # 3.复制预训练模型到指定路径 -19c8e357.pth #### 注每次需查电脑自动保存的根目录 /root/.cache/torch/checkpoints/resnet50-19c8e357.pth 会因电脑不同而不同 cp /home/personReID/MGN-pytorch-master/resnet50-19c8e357.pth /root/.torch/models/resnet50-19c8e357.pth # （在原终端继续进行，注：demo.sh是已改好参数的） sh demo1.sh 补充： 训练前需要修改的文件及代码 1.demo.sh文件 修改data路径（把你的数据集路径添加到 –datadir）、
1.1K20编辑于 2022-11-08 - 来自专栏算法一只狗
DeepSeek V3把训练大模型的成本给干下来了
原生就是FP8混合精度训练框架，并首次验证其在超大规模模型上的有效性训练大模型也可以很省钱DeepSeek V3延续了便宜又快的训练思路。 比起动辄几百亿人民币都训练不出来一个好用的大模型，DeepSeek V3的训练简直颠覆了大家的想象。 这里训练这么省钱当然主要是因为该模型原生就是FP8，还有在模型架构上做了一些优化导致模型训练成本很低。模型效果惊为天人从发布的效果来看，这个开源模型在多个数据集上的效果都能够赶上最前沿的几个大模型。 其他像GPT-4o、Claude3.5等模型，价格都比较昂贵。模型的一些训练细节DeepSeek V3除了使用了FP8之外，还有一些其他的模型细节。 国外的AI爱好者们都已经开始尝试了，有人甚至把4个或8个M4 Mac mini叠在一起运行DeepSeek V3。
7K20编辑于 2024-12-29 - 来自专栏机器学习AI算法工程
YOLOv8模型训练和部署
YOLOv8 是 Ultralytics 开发的 YOLO（You Only Look Once）物体检测和图像分割模型的最新版本。 YOLOv8是一种尖端的、最先进的SOTA模型，它建立在先前YOLO成功基础上，并引入了新功能和改进，以进一步提升性能和灵活性。 它可以在大型数据集上进行训练，并且能够在各种硬件平台上运行，从CPU到GP YOLOv8还有一个关键特性是它的可扩展性，由于其被设计成一个框架，支持所有以前YOLO的版本，使得在不同版本之间切换和比较它们的性能变得容易 同时堆叠的个数由参数n来进行控制，也就是说不同规模的模型，n的值是有变化的。 YOLOv8模型训练和部署 https://github.com/DataXujing/YOLOv8 参考 [1].https://github.com/uyolo1314/ultralytics. [
6.1K70编辑于 2023-02-28
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号