- 综合排序
- 最热优先
- 最新优先
- 来自专栏Michael阿明学习之路
4. 训练模型
线性模型正则化 4. 早期停止法（Early Stopping） 本文为《机器学习实战：基于Scikit-Learn和TensorFlow》的读书笔记。 中文翻译参考 1. 正规方程求解 先生成带噪声的线性数据 import numpy as np import matplotlib.pyplot as plt X = 2*np.random.rand(100,1) y = 4+ 多项式回归 依然可以使用线性模型来拟合非线性数据 一个简单的方法：对每个特征进行加权后作为新的特征 然后训练一个线性模型基于这个扩展的特征集。 这种方法称为多项式回归。 ，高偏差的模型最容易出现欠拟合 方差：模型对训练数据的微小变化较为敏感，多自由度的模型更容易有高的方差（如高阶多项式），会导致过拟合 不可约误差：数据噪声，可进行数据清洗 3. ElasticNet(alpha=0.1, l1_ratio=0.5) elastic_net.fit(X, y) elastic_net.predict([[1.5]]) # array([4.99822842]) 4.
71240发布于 2021-02-19 - 来自专栏人人都是极客
4.训练模型之准备训练数据
终于要开始训练识别熊猫的模型了， 第一步是准备好训练数据，这里有三件事情要做： 收集一定数量的熊猫图片。 将图片中的熊猫用矩形框标注出来。 将原始图片和标注文件转换为TFRecord格式的文件。 收集熊猫图片倒不是太难，从谷歌和百度图片上收集 200 张熊猫的图片，应该足够训练一个可用的识别模型了。 最后需要将数据集切分为训练集合测试集，将图片文件打乱，然后按照 7：3 的比例进行切分： random.seed(42) random.shuffle(all_examples) 最后还需要一个 label map 文件，很简单，因为我们只有一种物体：熊猫 label_map.pbtxt: item { id: 1 name: 'panda' } 训练一个熊猫识别模型所需要的训练数据就准备完了 ，接下来开始在 GPU 主机上面开始训练。
2.4K80发布于 2018-03-16 - 来自专栏罗西的思考
Facebook如何训练超大模型---(4)
[源码分析] Facebook如何训练超大模型 --- (4) 目录 [源码分析] Facebook如何训练超大模型 --- (4) 0x00 摘要 0x01 背景知识 1.1 单精度、双精度和半精度浮点格式的区别 3.6 _post_reduction_hook 0xFF 参考 0x00 摘要 我们在前文介绍过，微软 ZeRO 可以对一个万亿参数模型可以使用 8 路模型并行、64 路管道并行和 8 路数据并行在 4,096 分布式训练 Parameter Sharding 之 Google Weight Sharding [源码分析] Facebook如何训练超大模型---(1) [源码分析] Facebook如何训练超大模型 我们发现，只要不频繁地跳过更新，训练计划就不必调整，就可以达到与FP32训练相同的精度。 请注意，N有效地限制了我们可以溢出和跳过更新的频率。 因此，在相同的超参数下，使用半精度浮点（FP16）和单精度（FP32）浮点的混合精度训练就可以达到与使用纯单精度（FP32）训练相同的准确率，而且模型训练速度可以大大加速。
2K10编辑于 2022-05-09 - 来自专栏算法工程师的学习日志
Python基础训练100题-4
题目：求s=a+aa+aaa+aaaa+aa…a的值，其中a是一个数字。例如2+22+222+2222+22222(此时共有5个数相加)，几个数相加由键盘控制。
42630编辑于 2022-07-27 - 来自专栏饶文津的专栏
【2016多校训练4】Multi-University Training Contest 4
树状数组维护数字i前面有多少个比它小的数，即第几小。最左距离就是rank，最右距离就是max（原位置，终位置），求出距离极差即可。
37910发布于 2020-06-02 从0开始训练自己的LLM（4）
前面我们介绍了构建LLM的完整流程，现在我们将所有流程串接起来，并开始训练整个模型。 # In practice, this is not a problem since the LLM (chapters 4-7) ensures that inputs
15010编辑于 2026-03-18- 来自专栏腾讯技术工程官方号的专栏
4分钟训练ImageNet！腾讯机智创造AI训练世界纪录
4分钟训练ImageNet！ 一 4分钟内训练ImageNet 腾讯机智 机器学习平台团队，在ImageNet数据集上，4分钟训练好AlexNet，6.6分钟训练好ResNet-50，创造了AI训练世界新纪录。 训练，4分钟完成AlexNet训练——这是迄今为止ImageNet训练的最高世界纪录。 以上思路在4分钟训练ImageNet项目中提升了调参效率。但调参是个浩繁的工作，后续将由内部正在测试的AutoML系统来进行。 原本需要对16个（即P=16）GPU进行AllReduce，现将16个GPU分为4组，每组4个GPU，首先在组内进行Reduce（4组并行执行，P1=4），然后再以每组的主GPU间进行Allreduce
12.7K00发布于 2018-07-30 - 来自专栏计算机视觉战队
让模型训练速度提升2到4倍
近日， MosaicML 推出了一个用于高效神经网络训练的 PyTorch 库「Composer」，旨在更快地训练模型、降低成本，并获得表现更好的模型。 Composer 具有一个功能界面（类似于 torch.nn.functional），用户可以将其集成到自己的训练循环中；它还包含一个 Trainer，可以将高效的训练算法无缝集成到训练循环中。 一个易于使用的 Trainer，其编写的目的是尽可能提高性能，并集成了高效训练的最佳实践。 所有加速方法的功能形式，都允许用户将它们集成到现有的训练循环中。 那么，使用 Composer 能够获得怎样的训练效果提升呢？ 多个模型系列的训练中减少的时间和成本。 在 4 小时 27 分钟内将 GPT-2 在 OpenWebText 上的困惑度提高到 24.11（AWS 上 145 美元），比基线快 1.7 倍，便宜 43%。
70810编辑于 2022-08-31 - 来自专栏圆圆的算法笔记
对比学习中的4种经典训练模式
对比学习目前有4种最典型的范式，分别为End-to-End、Memory Bank、Momentum Encoder以及In-Batch Negtive。 这几种对比学习结构的差异主要体现在对负样本的处理上，4种方法是一种逐渐演进的关系。下面，我们来看看4种对比学习结构的经典工作。 模型的训练仍然采用多个二分类的方式，每个样本的loss可以表示为： 最终采用底层共享参数的孪生网络结构进行模型训练。 4 In-Batch Negtive In-Batch Negtive也是对比学习中经常采用的一种扩大负样本数量的方法。 5 总结 本文总结了对比学习的4种基本训练结构，包括End-to-End、Memory Bank、Momentum Encoder以及In-Batch Negtive，以及各自的优缺点。
4.4K40编辑于 2022-09-22 - 来自专栏JavaPark
LeetCode 训练场：342. 4 的幂
题目 342. 4的幂 2. 描述 给定一个整数 (32 位有符号整数)，请编写一个函数来判断它是否是 4 的幂次方。 思路 image.png 4. isPowerOfFour(int num) { // num 为 0 不满足 if (num == 0) { return false; } // 4 的幂次方可能能被 4 整除 while (num % 4 == 0) { num /= 4; } // 将最后的 num 和 1 进行比较，如果是 4 的幂次方
18220编辑于 2022-06-16 - 来自专栏Java
试题 算法训练 4-2找公倍数
试题 算法训练 4-2找公倍数 资源限制 内存限制：256.0MB C/C++时间限制：1.0s Java时间限制：3.0s Python时间限制：5.0s 问题描述 这里写问题描述。
22410编辑于 2025-01-21 - 来自专栏机器之心
业界 | 4分钟训练ImageNet！腾讯机智创造AI训练世界纪录
一 4分钟内训练ImageNet 腾讯机智 机器学习平台团队，在ImageNet数据集上，4分钟训练好AlexNet，6.6分钟训练好ResNet-50，创造了AI训练世界新纪录。 训练，4分钟完成AlexNet训练——这是迄今为止ImageNet训练的最高世界纪录。 以上思路在4分钟训练ImageNet项目中提升了调参效率。但调参是个浩繁的工作，后续将由内部正在测试的AutoML系统来进行。 原本需要对16个（即P=16）GPU进行AllReduce，现将16个GPU分为4组，每组4个GPU，首先在组内进行Reduce（4组并行执行，P1=4），然后再以每组的主GPU间进行Allreduce （P2=4），最后在每组内进行Broadcast（P3=4），这样便大大地减少了P的影响，从而提高Allreduce的性能。
84930发布于 2018-08-07 - 来自专栏AI科技评论
动态 | 4分钟训练ImageNet！腾讯机智创造AI训练世界纪录
一 4分钟内训练ImageNet 腾讯机智 机器学习平台团队，在ImageNet数据集上，4分钟训练好AlexNet，6.6分钟训练好ResNet-50，创造了AI训练世界新纪录。 训练，4分钟完成AlexNet训练——这是迄今为止ImageNet训练的最高世界纪录。 以上思路在4分钟训练ImageNet项目中提升了调参效率。但调参是个浩繁的工作，后续将由内部正在测试的AutoML系统来进行。 原本需要对16个（即P=16）GPU进行AllReduce，现将16个GPU分为4组，每组4个GPU，首先在组内进行Reduce（4组并行执行，P1=4），然后再以每组的主GPU间进行Allreduce （P2=4），最后在每组内进行Broadcast（P3=4），这样便大大地减少了P的影响，从而提高Allreduce的性能。
64410发布于 2018-08-06 NVFP4技术如何加速AI训练与推理
对于希望最大化AI训练和推理性能的用户，关于NVFP4有以下三点需要了解。1. 图1：在HGX B200上，FP8（无MTP）、FP8（带MTP）和NVFP4（带MTP）的吞吐量与交互性对比曲线，序列长度为8K/1K，聚合服务某机构最近还发布了NVFP4训练方案，将NVFP4显著的性能优势引入模型训练 展望未来，某机构Rubin平台在训练和推理的NVFP4能力上实现了巨大飞跃，提供35 petaFLOPS的NVFP4训练计算能力和50 petaFLOPS的NVFP4 Transformer Engine 某机构Transformer Engine库包含了NVFP4训练方案的实现，像Megatron-Bridge这样的训练框架也为开发者提供了入门实现。 某机构还持续创新并与生态系统合作，将NVFP4训练的性能和效率优势带给整个生态系统，为更快、更高效地训练更智能、更复杂的模型铺平道路。
30110编辑于 2026-05-01- 来自专栏刷题笔记
【2020HBU天梯赛训练】7-4 稳赢
7-4 稳赢 大家应该都会玩“锤子剪刀布”的游戏：两人同时给出手势，胜负规则如图所示： ? 现要求你编写一个稳赢不输的程序，根据对方的出招，给出对应的赢招。但是！
52710发布于 2020-06-23 - 来自专栏AI研习社
用 NVIDIA DALI 加速PyTorch：训练速度提升 4 倍
用特斯拉 V100 加速器显示 PyTorch+DALI 可以达到接近 4000 个图像/秒的处理速度，比原生 PyTorch 快了大约 4 倍。 简介 过去几年见证了深度学习硬件的长足进步。 能够以每秒数千幅图像的速度训练神经网络。这使得在 ImageNet 数据集上的单一 GPU 训练时间减少到几个小时。 而在 202 年，在 ImageNet 上训练 AlexNet 模型花了 5 天时间！ 如此强大的 gpu 使数据预处理管道变得紧张。 CPU 训练管道只在 CPU 上执行解码和大小调整操作，而 Cropmirnormalize 操作在 GPU 上运行。这点很重要。 对我来说，能够在几个小时内在一个 GPU 上进行 ImageNet 训练完全改变了生产力，希望对你来说也是如此！
3.5K20发布于 2020-02-21 - 来自专栏Deep learning进阶路
pytorch进行CIFAR-10分类（4）训练
1、简述 经过前面的数据加载和网络定义后，就可以开始训练了，这里会看到前面遇到的一些东西究竟在后面会有什么用，所以这一步希望各位也能仔细研究一下 2、代码 for epoch in range(2) : # loop over the dataset multiple times 指定训练一共要循环几个epoch running_loss = 0.0 #定义一个变量方便我们对loss进行输出 ，把优化器的参数进行更新，以便进行下一轮 # print statistics # 这几行代码不是必须的，为了打印出loss方便我们看而已，不影响训练过程 所以训练部分的代码其实比较简单： running_loss和后面负责打印损失值的那部分并不是必须的，所以关键行不多，总得来说分成三小节 第一节：把最开始放在trainloader里面的数据给转换成variable
86410发布于 2019-05-25 - 来自专栏AI科技评论
ICLR 2020 | 完胜 BERT，谷歌最佳 NLP 预训练模型开源，单卡训练仅需 4 天
4 天即可得到。 而 ELECTRA 在使用少于 1/4 的计算量时，可以在 GLUE 自然语言理解基准上达到 RoBERTa 和 XLNet 的性能。 生成器与判别器神经网络模型 4 具体研究结果对比 研究人员将 ELECTRA 与其他最新的 NLP 模型进行了比较，发现在给定相同的计算预算的情况下，它与以前的方法相比有了实质性的改进， 其性能与 RoBERTa 和 XLNet 相当，而使用的计算量不到 1/4。 为了进一步提高效率，研究人员尝试了一个小型的 ELECTRA 模型，该模型可以在 4 天的时间内在单个 GPU 上进行良好的训练。
1.6K31发布于 2020-03-18 - 来自专栏AgenticAI
DeepSeek4或已在训练中了，要元旦献礼了吗？
所以你就说他是不是在训个下一代比如DeepSeek4，准备献礼元旦？ 根据之前发布的DeepSeek-OCR，可以将输入的图像或者文字进行高效压缩，所我们可以合理的推测下一个DeepSeek4大概率是多模态了，并且还是类似Google Gemini那样的长上下文。
23710编辑于 2025-11-29 - 来自专栏Jed的技术阶梯
zookeeper案例之4个逻辑思维训练小题目
级联创建任意节点 /** * @Description: 编程思维训练：1.级联创建任意节点 * @author Jed * @date 2017年12月19日 */ public class 级联查看某节点下所有节点及节点值 /** * @Description: 编程思维训练：2.级联查看某节点下所有节点及节点值 * @author Jed * @date 2017年12月19日 级联删除一个节点 /** * @Description: 编程思维训练：3.级联删除一个节点 * @author Jed * @date 2017年12月19日 */ public class } // 删除该父节点 rmr(path, zk); } return true; } } 4. 清空子节点 /** * @Description: 编程思维训练：4.清空子节点 * @author Jed * @date 2017年12月19日 */ public class ZookeeperExerciseTest4
65020发布于 2018-09-13
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号