- 综合排序
- 最热优先
- 最新优先
- 来自专栏Python与算法之美
8，模型的训练
一，分类模型的训练 ? ? ? ? ? ? ? ? ? 二，回归模型的训练 ? ? ? ? ? ? ? ? 三，聚类模型的训练 KMeans算法的基本思想如下： 随机选择K个点作为初始质心 While 簇发生变化或小于最大迭代次数： 将每个点指派到最近的质心，形成K个簇 重新计算每个簇的质心 ? 四，降维模型的训练 PCA主成分分析(Principal Components Analysis)是最常使用的降维算法，其基本思想如下： 将原先的n个特征用数目更少的m个特征取代，新特征是旧特征的线性组合 五，管道Pipeline的训练 使用管道可以减少训练步骤 有时候，我们可以用管道Pipeline把多个估计器estimater串联起来一次性训练数据。
89131发布于 2020-07-17 - 来自专栏模型压缩
INT8量化训练
【导读】本文聊了两篇做INT8量化训练的文章，量化训练说的与quantization-aware Training有区别，量化训练指的是在模型训练的前向传播和后向传播都有INT8量化。 两篇文章都是基于对梯度构建分析方程求解得到解决量化训练会引起的训练崩溃和精度损失严重的情况。 而量化训练则是在前向传播和后向传播都加入量化，而且做完矩阵运算再把运算的结果反量化回去浮点数。 Pytorch实现卷积神经网络训练量化(QAT) 一、Distribution Adaptive INT8 文章的核心idea是：Unified INT8发现梯度的分布不遵从一个分布即不能像权重一样归于高斯分布 整个pipeline： SpeedUp: 这里有个重要的cuda层的优化： 实验： 知乎链接： 量化 | INT8量化训练 首发于GaintPandaCV，未经允许，不许转载
1.7K00发布于 2021-06-06 - 来自专栏GiantPandaCV
INT8量化训练
【GiantPandaCV导读】本文聊了两篇做INT8量化训练的文章，量化训练说的与quantization-aware Training有区别，量化训练指的是在模型训练的前向传播和后向传播都有INT8 两篇文章都是基于对梯度构建分析方程求解得到解决量化训练会引起的训练崩溃和精度损失严重的情况。 而量化训练则是在前向传播和后向传播都加入量化，而且做完矩阵运算再把运算的结果反量化回去浮点数。 Pytorch实现卷积神经网络训练量化(QAT) 一、Distribution Adaptive INT8 ? 知乎链接： （量化 | INT8量化训练）https://zhuanlan.zhihu.com/p/364782854
1.5K30发布于 2021-04-30 - 来自专栏算法工程师的学习日志
Python基础训练100题-8
程序分析：用else执行for循环的奖励代码（如果for是正常完结，非break）。
38210编辑于 2022-07-27 - 来自专栏DeepHub IMBA
使用FP8加速PyTorch训练
在这篇文章中，我们将介绍如何修改PyTorch训练脚本，利用Nvidia H100 GPU的FP8数据类型的内置支持。 这里主要介绍由Transformer Engine库公开的fp8特定的PyTorch API，并展示如何将它们集成到一个简单的训练脚本中。 （我们这里只介绍如何使用FP8，不会介绍FP8具体的理论知识） 随着人工智能模型变得越来越复杂，训练它们所需的机器也越来越复杂。Nvidia H100 GPU据称支持“前所未有的性能和可扩展性”。 总结 在这篇文章中，我们演示了如何编写PyTorch训练脚本来使用8位浮点类型。展示了FP8的使用是如何从Nvidia H100中获得最佳性能的关键因素。 FP8的可行性及其对训练性能的影响可以根据模型的细节而变化很大。 作者：Chaim Rand 喜欢就关注一下吧： 点个 在看 你最好看！
1.1K40编辑于 2023-11-20 - 来自专栏饶文津的专栏
「2017 Multi-University Training Contest 8」2017多校训练8
求有向图最大生成树，要求n的父节点尽量小。 我们将所有wi变为-wi，这题就变成了有向图最小生成树的模板题。对于f(n)尽可能小的要求，可以令所有wi扩大1000倍，然后 对于yi=n的点将1000-xi计入wi中，这样就保证了在W尽可能大的情况下f(n)尽可能小。有向图最小生成树的部分我们可以 O(nm)解决，大体思路是先找到每个点边权最小的父向边，然后这样连边可能会构成一些环，我们把这些环缩成一个点，然后把这个环向外连的边的权值减去向内连的边的权值，然后将这个图缩小，重复上述操作直至不再构成环。由于每次点数至少会减1，所以这样的操作至多做O(n)次，因此时间复杂度就是O(n*m)。 朱刘算法中不能记录路径，其中的fa[i]对应缩点后的下标。不过没关系，父节点非常好求，就是答案对1000取模。
38110发布于 2020-06-02 - 来自专栏Python与算法之美
YOLOv8 训练自己的数据集
本范例我们使用 ultralytics中的YOLOv8目标检测模型训练自己的数据集，从而能够检测气球。 #安装 ! ultralytics -i https://pypi.tuna.tsinghua.edu.cn/simple import ultralytics ultralytics.checks() 一，准备数据 训练 ['nc'] # attach number of classes to model model.names = data_info['names'] 三，训练模型 1，使用ultralytics =10) 2，使用torchkeras梦中情炉 尽管使用ultralytics原生接口非常简单，再使用torchkeras实现自定义训练逻辑似乎有些多此一举。 并且，torchkeras在可视化上会比ultralytics的原生训练代码优雅许多。 此外，掌握自定义训练逻辑对大家熟悉ultralytics这个库的代码结构也会有所帮助。
3.9K31编辑于 2023-09-05 - 来自专栏AI科技大本营的专栏
8比特数值也能训练模型？商汤提训练加速新算法丨CVPR 2020
该工作通过将网络的输入、权重和梯度量化到8比特来加速网络的前向传播和反向传播过程，缩短卷积神经网络训练时间。 应用了上述方法之后，INT8训练在图像分类任务和检测任务上都仅仅损失微小的精度，且训练过程相比浮点训练加速了22%。 ? 动机与背景 卷积神经网络被广泛应用在多种计算机视觉任务中并且取得了优异的精度。 在将浮点的梯度量化到INT8数值范围内之后，训练过程变得极其不稳定，并且收敛到非常差的精度。如何解决量化梯度给训练带来的收敛稳定性问题，是十分重要的问题。 INT8训练的一个核心的加速点在于卷积计算的反向过程，上图展示了INT8训练中卷积计算在反向传播过程中的计算细节。 同时，本文在实际训练过程中进行了完整的端到端测试，可以看到，INT8训练可以将ResNet50的一轮训练过程从0.360秒降低到0.293秒，整体训练过程提速了22%。
1.8K10发布于 2020-04-14 - 来自专栏CNN
【Ubuntu】Tensorflow对训练后的模型做8位（uint8）量化转换
tensorflow_gpu-1.3.0 2.7、3.3-3.6 GCC 4.8 Bazel 0.4.5 6 8 tensorflow_gpu-1.2.0 2.7、3.3-3.6 GCC 4.8 Bazel 0.4.5 5.1 8 tensorflow_gpu-1.1.0 2.7、3.3-3.6 GCC 4.8 Bazel 0.4.2 5.1 8 tensorflow_gpu-1.0.0 2.7、3.3- jdk 安装过程中如果有以下异常： bazel depends on google-jdk | java8-jdk | java8-sdk | oracle-java8-installer; however Package java8-jdk is not installed. Package java8-sdk is not installed. Package oracle-java8-installer is not installed.
2.2K30发布于 2019-10-22 - 来自专栏罗西的思考
深度学习分布式训练框架 horovod (8) --- on spark
[源码解析] 深度学习分布式训练框架 horovod (8) --- on spark 目录 [源码解析] 深度学习分布式训练框架 horovod (8) --- on spark 0x00 摘要 0x01 深度学习分布式训练框架 horovod (5) --- 融合框架 [源码解析] 深度学习分布式训练框架 horovod (6) --- 后台线程架构 [源码解析] 深度学习分布式训练框架 horovod SparkTaskService 可以 从 SparkDriverService 得到训练代码； orted 在每一个 executor 之上运行训练代码，即 python function； 我们的训练代码也是一个 | | | | | | | | | | +----------------------------------------> 8 如何发布 训练代码？
2.6K30发布于 2021-07-01 - 来自专栏贾志刚-OpenCV学堂
【YOLOv8】自定义姿态评估模型训练
前言 Hello大家好，今天给大家分享一下如何基于YOLOv8姿态评估模型，实现在自定义数据集上，完成自定义姿态评估模型的训练与推理。 01 tiger-pose数据集 YOLOv8官方提供了一个自定义tiger-pose数据集（老虎姿态评估），总计数据有263张图像、其中210张作为训练集、53张作为验证集。 kpt_shape=12x2 表示有12个关键点，每个关键点是x,y 02 模型训练 跟训练YOLOv8对象检测模型类似，直接运行下面的命令行即可： yolo train model=yolov8n-pose.pt data=tiger_pose_dataset.yaml epochs=100 imgsz=640 batch=1 03 模型导出预测 训练完成以后模型预测推理测试 使用下面的命令行： yolo predict ]), int(kpts[7])), 3, (255, 0, 255), 4, 8, 0) cv.circle(frame, (int(kpts[8]), int(kpts[9])),
1.3K10编辑于 2023-12-26 - 来自专栏叶子的开发者社区
yolov8训练自定义目标检测模型
本文使用Ultralytics的python API进行模型训练，适用于yolov8小白入门，大佬请忽略本文 笔者也是昨天开始学习的小白，如有错误希望多多指正 准备数据集 首先得准备好数据集，你的数据集至少包含 、yolov8n.pt和coco128.yaml这几个文件，yolov8n.yaml是yolov8的配置，yolov8n.pt是预训练的模型，coco128.yaml是coco数据集的配置参数 因此如果我们想要训练自己的模型的话 从0开始训练 下面是从0开始训练的过程 其实训练的代码就两行 model = YOLO("yolov8n.yaml") # build a new model from scratch model.train 训练 from ultralytics import YOLO import matplotlib.pyplot as plt model = YOLO("yolov8n.yaml") # build 官方推荐用预训练好的模型开始训练 首先下载一个官方预训练好的模型 我这里下载的是yolov8n 然后使用预训练模型训练我的数据集 from ultralytics import YOLO import
2.9K31编辑于 2023-10-19 - 来自专栏贾志刚-OpenCV学堂
YOLOv8修改+注意力模块 训练与部署
YOLOv8源码到底在哪? 很多人也想跟修改YOLOv5源码一样的方式去修改YOLOv8的源码，但是在github上面却发现找到的YOLOv8项目下面TAG分支是空的，然后就直接从master/main下面把源码克隆出来一通修改了 其实对Python安装包稍微了解一下你就知道了，以我自己为例，我是用pip方式安装YOLOv8的，查找一下安装好的YOLOv8包目录应该如下（默认情况下）： C:\Users\Administrator YOLOv8添加SE注意力模块 分别修改YOLOv8的模型描述文件yolov8.yaml，模型加载与定义文件task.py与模块结构化实现文件block.py，修改的内容跟YOLOv5注意力机制添加完全一致 全部完成之后就可以直接开始训练模型了，这里基于我的DM码数据集完成模型结构修改之后的YOLOv8注意力模型的训练，命令行跟以前唯一不同的是需要从指定修改的YAML文件开始训练，才是对的，训练的命令行如下
3.4K10编辑于 2023-08-22 - 来自专栏Java Tale
【技术创作101训练营】Java8新特性
很高兴能在云社区这样的好的平台下给大家分享一下我的经验，今天分享的主题是：Java8 新特性，为什么分享这个主题呢，20年jetbrains idea IDE 对Java 版本统计，java8 使用率 75%,但是对java8 新特性了解的人却不是很多， 分以下八个部分给大家分享一下。 java8新特性的简介 lambda表达式 函数式接口 方法引用和构造器引用 Stream API 默认方法和静态方法 新时间日期API 其他新特性 一.java8新特性的简介 ： 速度更快 （修改底层数据结构 五.强大的 Stream API 1.了解 Stream Java8中有两大最为重要的改变。 2.重复注解与类型注解 Java 8对注解处理提供了两点改进:可重复的注解及可用于类型的注解。
1.9K10发布于 2021-01-17 - 来自专栏贾志刚-OpenCV学堂
YOLOv8 实现 任意目录下 命令行训练
问题 当你使用YOLOv8命令行训练模型的时候，如果当前执行的目录下没有相关的预训练模型文件，YOLOv8就会自动下载模型权重文件。 YOLOv8模型预训练文件，然后再从当前目录下执行下面的命令行训练： yolo task=detect mode=train model=yolov8n.pt epochs=5 batch=1 data 要解决这个问题其实很简单，YOLOv8是有个全局设置参数的，它支持从设置的目录下寻找预训练权重文件，同时支持把训练结果保存到指定目录下。 这样设置好以后，我们就可以从任意目录下发起YOLOv8模型训练了，YOLOv8框架默认支持通过命令行修改这些设置参数的。 再重启命令行，就可以从任何目录下开启YOLOv8模型训练，它再也不会每次都去下载预训练模型文件了。也不会到处乱保存模型训练结果了。 这次是真的可以了。
1.4K20编辑于 2023-09-11 - 来自专栏机器学习AI算法工程
YOLOv8模型训练和部署
它可以在大型数据集上进行训练，并且能够在各种硬件平台上运行，从CPU到GP YOLOv8还有一个关键特性是它的可扩展性，由于其被设计成一个框架，支持所有以前YOLO的版本，使得在不同版本之间切换和比较它们的性能变得容易 YOLOv8创新改进点： 1.Backbone。 毫无疑问YOLOv8依旧使用了PAN的思想，不过通过对比YOLOv5与YOLOv8的结构图可以看到，YOLOv8将YOLOv5中PAN-FPN上采样阶段中的卷积结构删除了，同时也将C3模块替换为了C2f 为与NMS搭配，训练样例的Anchor分配需要满足以下两个规则： 正常对齐的Anchor应当可以预测高分类得分，同时具有精确定位； 不对齐的Anchor应当具有低分类得分，并在NMS阶段被抑制。 YOLOv8模型训练和部署 https://github.com/DataXujing/YOLOv8 参考 [1].https://github.com/uyolo1314/ultralytics. [
6K70编辑于 2023-02-28 - 来自专栏大数据文摘
8种优秀预训练模型大盘点，NLP应用so easy！
NLP的快速增长主要得益于通过预训练模型实现转移学习的概念。在NLP中，转移学习本质上是指在一个数据集上训练模型，然后调整该模型以便在不同数据集上实现NLP的功能。 为什么要使用预训练模型？ NLP之旅的顶级预训练模型，以及该领域的最新研究成果。 这里我提供了每种模型的研究论文和预训练模型的链接，来探索一下吧！ 在StanfordNLP中打包的所有预训练NLP模型都是基于PyTorch构建的，可以在你自己的注释数据上进行训练和评估。
1.4K30发布于 2019-04-26 - 来自专栏OpenCV与AI深度学习
实战 | 本地GPU训练YOLOv8带方向的目标检测
在本文中，我们将学习如何使用 YOLOv8 进行有向物体检测。 ') # load an official model 这将导入 Ultralytics 包并下载预先训练的 yolov8 OBB 模型。 在本例中，我使用了 yolov8x-obb.pt。 让我们在 DOTA 数据集上进一步训练模型，这样我们就可以了解训练数据和标注（ground truth）是什么样的。 为了使用 YOLOV8 训练模型，我们需要一个 .yml 文件。 所有训练结果都将存储在runs\obb\train7文件夹中。这里是 train 7，表示我的第 7 次训练。开始训练时将自动创建这些文件夹。
3.1K10编辑于 2024-06-21 - 来自专栏Edward的专栏
【玩转全栈】----YOLO8训练自己的模型并应用
继上篇： 【玩转全栈】---基于YOLO8的图片、视频目标检测-CSDN博客 相信大家已经可以训练一些图片和视频了，接下来我将为大家介绍如何训练自己的特定模型，并用其进行检测 准备数据 再创建一个.yaml文件 内容如下： path: D:\.idea\YOLO\Yolo8\yolo8_learn\xun #数据集根目录 train: images/train #训练集图片路径 val # 加载预训练模型 model = YOLO('yolo8l.pt') # 开始训练模型 model.train( data='data.yaml', #训练数据集 epochs=500 D:\.idea\YOLO\Yolo8\yolo8_learn\runs\detect\train6\weights # best.pt 训练完的最优模型（适用于最终运用） # last.pt 训练的最后一轮模型 （适用于继续训练） # 加载自己训练好的模型 model = YOLO(r'D:\.idea\YOLO\Yolo8\yolo8_learn\runs\detect\train6\weights\best.pt
1.1K00编辑于 2025-01-24 FP8端到端精度强化学习训练技术
线性层中的端到端FP8减少数值不一致在开发FP8方案的过程中，我们实验了三种方案：基线方案：生成和训练均使用BF16。候选方案1：仅在生成阶段应用FP8，而策略模型训练使用BF16。 最终方案（端到端FP8）：在生成和训练引擎中均使用FP8。我们观察到，与仅在生成阶段使用FP8的候选方案1相比，最终方案在生成和训练之间表现出更低的数值不一致。注意，基线方案的数值不一致始终最低。 在Llama 3.1 8B Instruct模型和数学数据集上进行GRPO训练的验证准确率FP8线性层端到端的结果我们在密集模型和混合专家模型上评估了端到端的FP8方案，测量了与BF16基线相比的验证准确率和训练吞吐量 密集模型上的FP8端到端：Llama 3.1 8B Instruct表2显示了在Llama 3.1 8B Instruct模型的GRPO训练中，FP8端到端方案与BF16方案在训练4000步后的准确率。 Qwen3-8B-Base模型的策略采样性能曲线尝试使用NVIDIA NeMo RL进行端到端FP8训练要为生成后端和训练后端中的线性层启用FP8，以下配置映射显示了每个调优参数如何传递给训练和生成后端
18110编辑于 2026-04-26
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号