- 综合排序
- 最热优先
- 最新优先
- 来自专栏PyVision
高效 PyTorch：6个训练Tips
高效 PyTorch系列之二来了，6个建议，让你的训练更快，更稳，更强。高效 PyTorch系列之二来了，6个建议，让你的训练更快，更稳，更强。 高效 PyTorch系列之二来了，6个建议，让你的训练更快，更稳，更强。 高效 PyTorch系列之二来了，6个建议，让你的训练更快，更稳，更强。 建议1 — 利用 PyTorch 生态中的高级训练框架 从头开始写训练循环的话， PyTorch 提供了极好的灵活性和自由度。理论上，这为编写任何训练逻辑提供了无限的可能性。 建议2ー在训练过程中查看额外的度量 几乎每一个快速上手的图像分类示例项目都有一个共同点，那就是它们在训练期间和训练后都报告了一组最小的度量。 建议6ー在训练过程中使用torch.autograd.detect_anomaly()来发现算术异常 如果你在训练期间看到任何的 NaNs 或 Inf 的损失/度量，一个警报应该在你的头脑中响起。
93320发布于 2020-09-03 - 来自专栏开源心路
ChatGLM-6B使用、微调、训练
介绍 由清华大学知识工程 (KEG) 实验室和智谱AI公司与2023年共同训练的语言模型。 ChatGLM-6B 参考了 ChatGPT 的设计思路，在千亿基座模型 GLM-130B 中注入了代码预训练，通过有监督微调等技术实现与人类意图对齐（即让机器的回答符合人类的期望和价值观）。 不同于训练ChatGPT需要1万+ A100显卡，ChatGLM-6B可以单机运行在消费级显卡上（13G可运行，建议16-24G显卡），未来使用空间大。 v2进行训练 ! bash train.sh Thinking：将 train.sh 中的 THUDM/chatglm-6b 改为本地的模型路径 (参考train2.sh) Thinking：如何使用训练好的ChatGLM
2.3K20编辑于 2024-01-13 - 来自专栏算法工程师的学习日志
Python基础训练100题-6
题目： 有5个人坐在一起，问第五个人多少岁？他说比第4个人大2岁。问第4个人岁数，他说比第3个人大2岁。问第三个人，又说比第2人大两岁。问第2个人，说比第一个人大两岁。最后问第一个人，他说是10岁。请问第五个人多大？
44930编辑于 2022-07-27 从0开始训练自己的LLM（6）
训练完后的模型如何给业务用呢？需要把模型的参数保存下来，给业务用，下次加载出来就可以了。 训练完模型后，我们使用训练好的模型来进行一次文本推理 inference_device = torch.device("cpu") model.to(inference_device) model.eval
10110编辑于 2026-03-18- 来自专栏机器学习AI算法工程
YOLOv6训练运行教程，鱼苗检测
向AI转型的程序员都关注了这个号 机器学习AI算法工程 公众号：datayx 精度与速度远超 YOLOv5 和 YOLOX 的新框架 YOLOv6关键技术介绍 YOLOv6 主要在 Backbone 在训练策略上，我们采用Anchor-free 无锚范式，同时辅以 SimOTA[2] 标签分配策略以及 SIoU[9] 边界框回归损失来进一步提高检测精度。 YOLOv6检测鱼苗 YOLOv6 的训练和YOLOv5 类似 yolov5鱼苗检测计数：从数据标注到训练 下载 yolov6代码 https://github.com/meituan/YOLOv6 数据增强代码和数据格式转化代码均和yolov5版的一样 yolov5鱼苗检测计数：从数据标注到训练 项目全部代码，数据集，标注工具，预训练模型获取方式： 关注微信公众号 datanlp 然后回复 鱼苗 3.修改模型配置文件，在configs 目录下 可默认配置，这里我选yolov6s 4.修改tools/train.py 里面的相应参数即可开启训练 5.预测时，也是修改tools/infer.py
2.1K30编辑于 2022-07-01 - 来自专栏Python绿色通道
Scrapy实战6：CSS选择器实战训练
一、 前言 上一篇文章Scrapy实战5：Xpath实战训练中给大家讲解并带着大家实战训练了Xpath，爬取了伯乐在线文章的基本信息，并且介绍scrapy里的shell调试模式使用，还是很实用的哈。 nth-child(2)表示选取a标签的第二个元素 >>> response.css("span.btn-bluet-bigger:nth-child(2)::text").extract()[] ' 6 response.css("span.btn-bluet-bigger:nth-child(2)::text").extract()[] >>> re.findall(reg_02,collection_str)[] '6'
1.2K20发布于 2020-02-12 - 来自专栏机器学习炼丹之旅
CS231n：6 训练神经网络（二）
通常情况下，你可以通过在PCA减少的数据集上训练线性分类器或神经网络来获得非常好的性能的同时节约存储空间和训练时间。 你在实践中可能会看到的最后一种数据预处理是白化。 相反，应当只计算训练集中数据的平均值，然后在使用到验证集和测试集时减去训练集的平均值。 2. 权重初始化 我们已经介绍了如何构建一个神经网络架构，以及如何对数据进行预处理。 在我们开始训练网络之前，我们必须初始化其参数。 2.1 错误的做法 将所有权重初始化为0。 在训练时，Dropout的实现方式是以某个概率 p（一个超参数）保留每个神经元，其余没被保留的就丢弃，即将其设置为零，不参与更新，示意图如下所示： 在训练过程中，Dropout可以被解释为在整个神经网络中对一个子神经网络进行采样 6. 总结 综上所述： 推荐的预处理方法是将数据居中，使其平均值为零，并沿每个特征将其尺度归一化为[-1, 1]。
50420编辑于 2022-08-08 - 来自专栏罗西的思考
PyTorch 分布式之弹性训练(6)---监控容错
[源码解析] PyTorch 分布式之弹性训练(6)---监控/容错 目录 [源码解析] PyTorch 分布式之弹性训练(6)---监控/容错 0x00 摘要 0x01 总体逻辑 1.1 Node集群角度 弹性训练系列文章如下： [源码解析] PyTorch 分布式之弹性训练(1) --- 总体思路 [源码解析] PyTorch 分布式之弹性训练(2)---启动&单节点流程 [源码解析] PyTorch 分布式之弹性训练(3)---代理 [源码解析] PyTorch 分布式之弹性训练(4)---Rendezvous 架构和逻辑 [源码解析] PyTorch 分布式之弹性训练(5)---Rendezvous | | | | | | | | | 6 0xFF 参考 云原生的弹性 AI 训练系列之二：PyTorch 1.9.0 弹性分布式训练的设计与实现 PyTorch Elastic源码阅读
1.5K20编辑于 2022-05-09 - 来自专栏机器学习炼丹之旅
CS231n：6 训练神经网络（一）
中将ReLU的训练效果与Tanh的比较，有6倍的提升。 image.png ReLU全称为Rectified Linear Unit，整流线性单元，这在最近几年非常流行。 较为脆弱： 不幸的是，使用ReLU的神经元在训练的时候比较脆弱，容易“死亡”。 计算神经网络的大小： 人们一般使用两个指标来计算神经网络的大小，即神经元的个数，或者更常用的是参数个数，下面计算上图网络中的这两个指标值： 左图，有 4+2=6 个神经元（不计算输入层的神经元），有 3 *4+4*2=20 个权重， 4+2 = 6 个偏置，一共 26 个参数。 比如说，假设我们在二维空间中有一个二元分类问题，我们可以训练三个不同的网络，每个神经网络都只有一个隐藏层，可视化结果如下，此结果可以在 ConvNetsJS demo 中自己训练得到： 在上图中，我们可以看到
74020编辑于 2022-08-08 - 来自专栏机器学习炼丹之旅
CS231n：6 训练神经网络（三）
有时候如果梯度检查无法进行，可以试试将hh调到1e-4或者1e-6，然后突然梯度检查可能就恢复正常。这篇维基百科文章中有一个图表，其x轴为 h 值，y轴为数值梯度误差。 例如，一个典型的学习率搜索范围应该看起来是这样：learning_rate = 10 ** uniform(-6, 1)。也就是说, 我们从标准分布中随机生成了一个数字, 然后让它成为10的阶数。 比如, 假设我们使用learning_rate = 10 ** uniform(-6,1)来进行搜索. 5.6 从粗到细地分阶段搜索 在实践中，先进行初略范围（比如10 ** [-6, 1]）搜索，然后根据好的结果出现的地方，缩小范围进行搜索。 6. 模型集成 在实践的时候，有一个总是能提升神经网络几个百分点准确率的办法，就是在训练的时候训练几个独立的模型，然后在测试的时候平均它们预测结果。
86120编辑于 2022-08-08 - 来自专栏简书专栏
目标检测第6步-使用keras版RetinaNet训练
本文作者没有测试6GB显存的显卡是否能运行此工程，读者可以自己尝试。 只有Nvidia品牌的显卡可以运行深度学习，AMD品牌的显卡不可以运行深度学习。 数据集压缩文件n01440764.tar下载链接: https://pan.baidu.com/s/1NksESNqBX--YqMJ4zptGdw 提取码: 6p3u 在桌面新建文件夹keras_RetinaNet 像素点少的图片不利于模型训练或模型测试，所以在本章节中实现用python代码选出部分图片文件。 image.png 2.模型训练 2.1 下载并安装Microsoft C++ build 14.0 只有先安装C++的编译工具，才能在Windows系统上安装keras_retinanet库。 image.png 2.3 开始训练 在文件夹keras_RetinaNet中运行cmd，即在Windows资源管理器的路径处输入cmd，按Enter键运行，如下图所示： ?
3.4K11发布于 2019-04-18 - 来自专栏磐创AI技术团队的专栏
6种用于文本分类的开源预训练模型
我们现在可以使用构建在一个巨大的数据集上的预训练的模型，并进行优化，以在另一个数据集上实现其他任务。 迁移学习和预训练模型有两大优势： 它降低了每次训练一个新的深度学习模型的成本 这些数据集符合行业公认的标准，因此预训练模型已经在质量方面得到了审查 你可以理解为什么经过预训练的模特会大受欢迎。 在这里中，我将介绍6种最先进的文本分类预训练模型。 例如，任务1的输出用作任务1、任务2的训练；任务1和任务2的输出用于训练任务1、2和3等等 我真的很喜欢这个过程，他非常直观，因为它遵循人类理解文本的方式。 NABoE模型在文本分类任务中表现得特别好: 预训练模型6：Rethinking Complex Neural Network Architectures for Document Classification
3.4K10发布于 2020-06-29 - 来自专栏计算机视觉战队
量化新方法 | 模型压缩6倍，无需重训练
近日，来自俄罗斯人民友谊大学（RUDN）的数学家团队找到一种方法，可以将训练后的神经网络的大小减小六倍，而无需花费更多的资源来对其进行重新训练。 例如，即使是一个相对较小的预训练神经网络VGG16设计成图像分类，在设备的内存中约占553MB。 有不同的方法允许我们减少预训练的神经网络的大小。 将参数x0从0到1，并将位数从2改为6。 在表1和表2中收集了获得的结果，并在图3和图4中显示了它们。 ? ? ? ? ? 在上图中，给出了神经网络离散化的过程。 应特别注意倒数第二排。 训练之后，该网络会使用新方法进行量化，并且不进行重新训练。然后，该研究将实验结果与其他量化算法进行了比较。 RUDN 大学的 Iakov Karandashev 补充说道：「量化之后，分类准确率仅降低了 1％，但是所需的存储容量减少了 6 倍。
92610发布于 2021-03-13 - 来自专栏刷题笔记
【2020HBU天梯赛训练】7-18 6翻了
本题就请你编写程序，将那些过时的、只会用一连串“6666……6”表达仰慕的句子，翻译成最新的高级表达。 输出格式： 从左到右扫描输入的句子：如果句子中有超过 3 个连续的 6，则将这串连续的 6 替换成 9；但如果有超过 9 个连续的 6，则将这串连续的 6 替换成 27。其他内容不受影响，原样输出。 统计完6之后 如果转换就转换，不转换的话就把几个六原封不动输出回去~。 ='6')cout<<s[i++]; else { for(count6=0;s[i]=='6'&&i<s.size();i++,count6++); if(count6>9)cout<<27; else if(count6>3)cout<<9; else while(count6-->0)cout<<6
87020发布于 2020-06-23 - 来自专栏深度学习与python
训练机器学习模型时应避免的 6 个错误
从某种程度上来说，获取和收集训练数据，并将其用于训练模型，是人工智能开发中最重要的阶段。 如果你在训练机器模型时犯下错误，不仅会导致你的模型执行出错，当你在医疗和自动驾驶汽车等领域做出关键业务决策时，还会造成灾难性的后果。以下是训练机器学习模型时比较常见的 6 个错误。 要实现这一目标，你必须定期审查人工智能训练过程及其性能，以确保最佳效果。必要时，还要请专家帮助，通过大量的训练数据集来训练你的人工智能模型。 6使用未正确标注的数据集 要想利用机器学习来设计人工智能模型，你需要采用正确标注的数据集，这样做不仅能帮助你获得最佳结果，还能提高用户对机器学习模型的信任程度。 原文链接： https://www.diginews.live/2021/04/avoid-these-6-mistakes-when-training-your-machine-learning-model
1.2K20发布于 2021-06-08 - 来自专栏刷题笔记
【2020HBU天梯赛训练】7-6 整除光棍
7-6 整除光棍 这里所谓的“光棍”，并不是指单身汪啦~ 说的是全部由1组成的数字，比如1、11、111、1111等。传说任何一个光棍都能被一个不以5结尾的奇数整除。
48110发布于 2020-06-23 - 来自专栏机器学习AI算法工程
最强 NLP 预训练模型库 PyTorch-Transformers 正式开源：支持 6 个预训练框架，27 个预训练模型
该项目支持 BERT, GPT, GPT-2, Transfo-XL, XLNet, XLM 等，并包含 27 个预训练模型。 Le 6、Facebook的 XLM，论文：“ Cross-lingual Language Model Pretraining”，论文作者：Guillaume Lample，Alexis Conneau 27个预训练模型 项目中提供了27个预训练模型，下面是这些模型的完整列表，以及每个模型的简短介绍。 （multi-gpu training），分布式训练（distributed training ）和16- bits 训练（ 16-bits training）。 注意，这里要使用分布式训练和16- bits 训练，你需要安装NVIDIA的apex扩展。
1.5K20发布于 2019-10-28 - 来自专栏AI科技评论
训练目标检测模型只需要这 6 行代码
原标题 | Train Object Detection AI with 6 lines of code 作者 | Moses Olafenwa 翻译 | 珺毅（浙江师范大学） 编辑 | Pita 在你的定制数据集上训练目标检测模型的分步教程 以上6行代码是你必须要做的来在你的自定义数据集上初始化训练。 val_yolo_layer_1_loss: 1.7037 - val_yolo_layer_2_loss: 1.9754 - val_yolo_layer_3_loss: 2.3667 Epoch 6/ Google Colaboratory：https://colab.research.google.com/drive/1R6t5MfFc3JnhZB-UmTjWLbEetBZ22agg 最后，ImageAI lines-of-code-6d087063f6ff
1.7K61发布于 2019-08-21 - 来自专栏ShowMeAI研究中心
深度学习与CV教程(6) | 神经网络训练技巧 (上)
Krizhevsky 论文指出比 Sigmoid 和 tanh 函数快6倍之多，据称这是由它的线性，非饱和的公式导致的。 考虑当 x=-1e-6 时，对 ReLU 函数进行梯度检查。因为 x<0，所以解析梯度在该点的梯度为0。 并不是越小越好，如果无法进行梯度检查，可以试试试试将 h 调到 1e-4 或者 1e-6。 在操作的特性模式中梯度检查。 如果把学习率设为另一个极端：10^{6}，如下图所示，会发生损失爆炸： [监控学习过程; 学习速率过大，损失爆照] NaN通常意味着学习率过高，导致损失过大。 但是这里却有一个问题，这些比较高的准确率都是学习率在 10e-4附近，也就是说都在我们设置的区间边缘，或许 10e-5 或 10e-6 有更好的结果。
1.3K61编辑于 2022-06-01 - 来自专栏罗西的思考
深度学习分布式训练框架 horovod (6) --- 后台线程架构
[源码解析] 深度学习分布式训练框架 horovod (6) --- 后台线程架构 目录 [源码解析] 深度学习分布式训练框架 horovod (6) --- 后台线程架构 0x00 摘要 0x01 引子 前面几篇链接如下： [源码解析] 深度学习分布式训练框架 Horovod (1) --- 基础知识 [源码解析] 深度学习分布式训练框架 horovod (2) --- 从使用者角度切入 [源码解析] 深度学习分布式训练框架 horovod (3) --- Horovodrun背后做了什么 [源码解析] 深度学习分布式训练框架 horovod (4) --- 网络基础 & Driver [源码解析] 深度学习分布式训练框架 horovod (5) --- 融合框架 0x01 引子 在前文我们看到，当训练时，Execution Thread 会通过一系列操作，把 Tensor & Operation 难道深度学习训练中，这些会变更？
2K20发布于 2021-06-29
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号