- 综合排序
- 最热优先
- 最新优先
- 来自专栏Juicedata
如何借助 JuiceFS 为 AI 模型训练提速 7 倍
本文来自：JuiceFS官网博客 背景 海量且优质的数据集是一个好的 AI 模型的基石之一，如何存储、管理这些数据集，以及在模型训练时提升 I/O 效率一直都是 AI 平台工程师和算法科学家特别关注的事情 我们也逐渐看到容器化成为 AI 训练的趋势，利用容器可以快速弹性伸缩的特点，结合公有云的资源池，能够最大化资源利用率，为企业大大节约成本。 对于 AI 模型训练场景来说，第一个 epoch 完成之后后续的计算都可以直接从缓存中获取训练数据，极大地提升了训练效率。 当打开一个文件时（即 open() 请求），为了保证一致性[7]，JuiceFS 默认都会请求元数据引擎以获取最新的元信息。 总结及展望 本文介绍了在 AI 模型训练中如何充分利用 JuiceFS 的特性来为训练提速，相比直接从对象存储读取数据集，通过 JuiceFS 可以带来最多 7 倍的性能提升。
1.1K20编辑于 2021-12-10 - 来自专栏机器学习算法与Python学习
Torch7模型训练
Torch7搭建卷积神经网络详细教程已经详细的介绍啦Module模块，这里再次基础上再给出一些上Container、 Transfer Functions Layers和 Simple Layers模块的理解 并在后面给出一些简单的模型训练方法。下述程序在itorch qtconsole下运行。 上一篇博文讲到Module主要有四个函数(详细见Torch7搭建卷积神经网络详细教程)，但是注意以下几点：forward函数的input必须和backward的函数的input一致，否则梯度更新会有问题 上述函数的具体使用方法可以看Torch7的官方API以及帮助文档。接下来仅介绍一些模型训练所需要的关键函数。 将image包导入当前运行环境，随机生成一张1通道32x32的彩色图像，如下 ? 然后，使用神经网络net的updateParameters()更新权重，该方法的输入值为学习率，即完成了训练。
1K130发布于 2018-04-08 - 来自专栏AI
AI训练师入行指南（四）：模型训练
——从璞玉到珍宝：数据雕刻师的终极修炼 一、开篇在《指南（三）》中，我们根据场景选择了合适的AI模型——就像选定了雕刻和田玉的工具与技法。 现在，我们正式进入训练阶段：用特定数据集将模型从粗坯打磨成传世珍宝。 “用翡翠原石雕佛像，用和田玉刻印章——特定数据集就是AI模型的专属玉料。” 数据集的核心价值领域适配性：用医疗影像数据训练的模型，能识别癌症结节；用电商评论训练的模型，能感知用户情绪波动。 质量决定上限：标注精准的1000条数据，胜过混乱的10万条噪声数据。 成熟AI模型案例解析(1) DeepSeek-Chat（深度求索）数据燃料：千万级高质量中文对话数据（含代码、百科、小说） 训练成果：能生成符合中文语境的代码注释，甚至写出“鲁迅风格”的段子。 真正的AI匠人懂得：用正则化约束过拟合野马，以混合精度在有限资源中雕琢精品——这不是塑料玩具的组装，而是用数据刻刀打磨智能传世珠宝。
73710编辑于 2025-03-31 - 来自专栏FreeBuf
AI领域的预训练与自训练
最近一年，AI领域出现了很多迁移学习(transfer learning)和自学习(self-learning)方面的文章，比较有名的有MoCo，MoCo v2，SimCLR等。 01 使用监督学习获得预训练模型 作为实验，研究者首先在Imagenet上训练分类网络作为预训练模型，之后监督得到的预训练模型作为骨干网络在COCO数据集上进行训练。 对于使用监督算法得到的预训练模型，研究者分别在使用了四种不同强度的数据增强的Imagenet上分别训练了EfficientNet-B7，之后将这些模型当作骨干网络在COCO数据集上训练目标检测模型。 不同数据增强模式下基线、监督式预训练、自训练式预训练下的目标检测结果对比 ? 不同数据增强模式下基线、监督式预训练、自训练式预训练下的目标检测结果对比 ? EfficientNet-B7 和L2进行自训练相比监督式预训练可以达到更高的精度 03 结论 通过以上一系列实验证明，监督预训练方法与无监督预训练方法对学习通用表示形式具有局限性，其原因研究者猜测，这两种预训练方法无法意识到当下要关注的任务
1.9K10发布于 2020-11-16 - 来自专栏刷题笔记
【2020HBU天梯赛训练】7-7 装睡
7-7 装睡 你永远叫不醒一个装睡的人 —— 但是通过分析一个人的呼吸频率和脉搏，你可以发现谁在装睡！医生告诉我们，正常人睡眠时的呼吸频率是每分钟15-20次，脉搏是每分钟50-70次。
82130发布于 2020-06-23 - 来自专栏算法工程师的学习日志
Python基础训练100题-7
题目： 请输入星期几的第一个字母来判断一下是星期几，如果第一个字母一样，则继续判断第二个字母。
32330编辑于 2022-07-27 - 来自专栏又见苍岚
PyTorch 学习 -7- 训练和评估
本节目录 PyTorch的训练/评估模式的开启 完整的训练/评估流程 模型模式 首先应该设置模型的状态：如果是训练状态，那么模型的参数应该支持反向传播的修改；如果是验证/测试状态，则不应该修改模型参数。 对于Dropout，model.train()是随机取一部分网络连接来训练更新参数。 训练完train样本后，生成的模型model要用来测试样本。在model(test)之前，需要加上model.eval()，否则的话，有输入数据，即使不训练，它也会改变权值。 训练流程 数据加载 我们前面在DataLoader构建完成后介绍了如何从中读取数据，在训练过程中使用类似的操作即可，区别在于此时要用for循环读取DataLoader中的全部数据。 125178716 文章链接： https://www.zywvvd.com/notes/study/deep-learning/pytorch/torch-learning/torch-learning-7/
61530编辑于 2023-07-24 - 来自专栏C博文
RTX 5070显卡深度评测：GDDR7显存如何提升AI训练与游戏体验？
RTX 5070 评测：GDDR7显存助力AI训练与游戏体验提升 1. 虽然表面参数增幅不算巨大，但凭借架构升级和GDDR7带来的优势，这张显卡有望在AI计算和游戏图形两方面都带来显著的性能提升。接下来我们将详细测试其在AI训练和游戏中的表现。 2. AI训练性能 (Compute and AI Benchmarks - Page 7 - LanOC Reviews)Geekbench AI基准测试成绩（数值越高越好）。 需要注意的是，显存容量仍是AI训练领域的关键因素之一。 在GDDR7显存的加持下，无论是AI训练还是游戏4K，都展现出前所未有的潜力。如果您正在寻找一款既能畅玩游戏又能加速创作的显卡，RTX 5070会是一个让人难以忽略的选择。
5K10编辑于 2025-07-14 - 来自专栏饶文津的专栏
「2017 Multi-University Training Contest 7」2017多校训练7
(r);i+=(d)) #define rep(i,l,r) for(int i=(l);i<(r);++(i)) #define add(x,y) x=(x+y)%M const ll M=1e9+7;
41420发布于 2020-06-02 - 来自专栏计算机视觉
训练神经网络的7个技巧
在本文中，您将了解在训练神经网络模型时如何充分利用反向传播算法的技巧和诀窍。 训练神经网络的挑战在训练数据集的新示例之间取得平衡； 七个具体的技巧，可帮助您更快地训练出更好的神经网络模型。 它将方差视为训练过程的函数，并在过拟合训练数据集和泛化误差之间取得平衡。 在训练初期，偏差较大，因为网络输出与期望函数相差很远。方差非常小，因为数据尚未产生太大的影响。 这种方法可能是有效的，但如果在训练期间过度表示的示例是离群值，它也可能导致灾难。 选择信息内容最大的示例： 打乱训练集，使连续的训练示例永远（很少）不属于同一类别。 八、技巧7：选择学习率 学习率是模型权重在算法的每次迭代中更新的量。较小的学习率可能导致收敛较慢，但可能得到更好的结果，而较大的学习率可能导致更快的收敛，但可能得到不太理想的结果。 参考：vx公众号：Google数据科学、深蓝AI 总结 神经网络训练是一个非常复杂的过程，在这过程中，许多变量之间相互影响，因此在这过程中，很难搞清楚这些变量是如何影响神经网络的。
38610编辑于 2024-03-19 - 来自专栏人工智能小白
AidLux智慧社区AI实战训练
AidLux智慧社区AI实战训练 一、主要目标 围绕智慧社区基本定义、场景需求理解、算法设计实现、边缘设备部署等核心要点，利用边缘设备AidLux，带大家完成智慧社区里面的两个典型场景：高空抛物和车牌识别的算法开发 二、主要内容 1) 智慧社区的各类场景算法的划分； 2) 智慧社区项目落地方式； 3) 边缘设备在智慧社区中的应用场景； 4) 高空抛物场景算法设计及实现； 5) 车牌数据集整理及训练； 6) 车牌识别算法部署及验证 vd_source=fbbf0424880919cc7d918ef607fef2e6 4） 演示视频2 B站： https://www.bilibili.com/video/BV128411F7To/? vd_source=fbbf0424880919cc7d918ef607fef2e6 5） 演示视频2 （视频读取方式显示） B站： https://www.bilibili.com/video/BV1S54y1u7uh vd_source=fbbf0424880919cc7d918ef607fef2e6 五、心得体会 通过AidLux智慧社区AI实战训练课程的学习，掌握了智慧社区基本定义、面向应用场景的算法设计及实现、
74200编辑于 2023-03-05 - 来自专栏AI系统
【AI系统】并行训练基本介绍
分布式训练是一种模型训练模式，它将训练工作量分散到多个工作节点上，从而大大提高了训练速度和模型准确性。虽然分布式训练可用于任何类型的 AI 模型训练，但将其用于大模型和计算要求较高的任务最为有利。 （Hybrid Parallel），可扩展的分布式训练组件，如：设备网格（Device Mesh）、RPC 分布式训练以及自定义扩展等。 具体来说，这些功能的实现可以分为三个主要组件：分布式数据并行训练（DDP）是一种广泛采用的单程序多数据训练范式。在 DDP 中，模型会在每个进程上复制，每个模型副本将接收不同的输入数据样本。 基于 RPC 的分布式训练（RPC）支持无法适应数据并行训练的通用训练结构，例如分布式流水线并行、参数服务器范式以及 DDP 与其他训练范式的组合。 通过充分利用这些分布式训练组件，开发人员可以在各种计算要求和硬件配置下高效地训练大模型，实现更快的训练速度和更高的模型准确性。
67610编辑于 2024-12-07 - 来自专栏AI系统
【AI系统】感知量化训练 QAT
本文将会介绍感知量化训练（QAT）流程，这是一种在训练期间模拟量化操作的方法，用于减少将神经网络模型从 FP32 精度量化到 INT8 时的精度损失。 感知量化训练流程 传统的训练后量化将模型从 FP32 量化到 INT8 精度时会产生较大的数值精度损失。 QAT 的流程如下图所示，首先基于预训练好的模型获取计算图，对计算图插入伪量化算子。准备好训练数据进行训练或者微调，在训练过程中最小化量化误差，最终得到 QAT 之后对神经网络模型。 微调时间为原始训练计划的 10% 感知量化训练不需要像原始训练那样耗时，因为模型已经相对较好地训练过，只需要调整到较低的精度。一般来说，微调时间为原始训练计划的 10% 是一个不错的经验法则。 QAT 和 PTQ 对比 PTQ QAT 通常较快 较慢 无需重新训练模型 需要训练/微调模型 量化方案即插即用 量化方案即插即用（需要重新训练） 对模型最终精度控制较少 对最终精度控制更多，因为量化参数是在训练过程中学习到的
1.5K10编辑于 2024-12-06 - 来自专栏机器之心
7 Papers & Radios | 无残差连接训练深度transformer；DeepMind写代码AI登Science封面
机器之心 & ArXiv Weekly Radiostation 参与：杜伟、楚航、罗若天 本周主要论文包括：首次无残差连接或归一化层也能训练深度 Transformer 的探索性研究，以及 DeepMind 携其写代码 AI AlphaCode 登上了 Science 封面，写代码能力不输程序员。 id=NPrsUQgMjKK 摘要：ICLR 2023 盲审阶段的这篇论文首次证明了无需残差连接或归一化层时也可能成功训练深度 transformer。 (from Hongming Zhang) 7. (from Feiping Nie, Xuelong Li) 7.
61020编辑于 2023-03-29 AI&ChatGPT实战训练营
当我们站在 2026 年的门槛上回望，会发现“AI&ChatGPT 实战训练营”这类概念早已不再是单纯的技术培训课程，而是一场关于人类认知升级与职业重塑的社会运动。 在三年前，人们还在争论 AI 是否会取代人类；而在今天，核心议题已经转变为：谁更善于驾驭 AI，谁就能定义未来。 未来的核心竞争力，不再是你记住了多少个指令模板，而是你是否具备"AI 原生思维"。这种思维模式要求我们将 AI 视为一个拥有无限知识库、全天候待命的“超级合伙人”，而非简单的执行工具。 在当下的“实战训练营”中，学员们的核心课题不再是“如何问出一个好问题”，而是“如何组建一支 AI 团队”。想象一下，面对一个复杂的市场营销项目：你不再需要分别联系文案、设计师、数据分析师和项目经理。 “AI&ChatGPT 实战训练营”的精神内核，其实就是鼓励每个人打破自我设限，勇敢地跳入这片未知的海域。未来不属于那些试图与机器比拼算力的人，而属于那些懂得利用机器扩展自己心智边界的人。
12210编辑于 2026-03-06- 来自专栏焱融科技
「深度解析」AI训练之数据缓存
深度学习或者AI的出现，改变了我们以往的解决问题的编程方式，不再是代码上直观的表达。 举一个简单的例子，我们如何识别一个数字（图片）是数字9呢？非常直观的方法就是上面有一小圆圈，下面有一个竖线。 AI中有三大核心：算法，算力，数据（存储）。算法自有成熟的框架，由数学科学家去解决；计算能力由CPU甚至GPU去解决。 01 深度学习训练的基本知识 深度学习训练任务(Deep Learning Training DLT)会将训练数据作为输入，从千丝万缕的线索中通过学习并得到一个输出模型来代表训练数据。 03 缓存的设计 总结起来深度学习的特点： 需要的数据量大 多台机器多个训练并行 每个训练要运行多次 在每次训练中，所有的数据需要遍历一遍 针对不同的训练参数，以及在不同的机器上运行的训练任务，数据集相对保持固定 在上述的过程中，如果某一个训练任务相比于其他的要慢很多，那么将导致前一个chunk迟迟不能释放，通常来说，在同一个训练模型的多个任务中，每个任务的训练时间基本是相同的，但无法避免在多个不同的训练模型训练同一个数据集的场景
1.6K40发布于 2020-07-03 AI&ChatGPT实战训练营
AI&ChatGPT 实战训练营：用大模型重构技术生产力——教育篇在数字化转型的浪潮中，教育行业正站在一个前所未有的十字路口。 通过AI辅助，教师可以为每一位学生生成专属的学习路径。智能学情诊断：AI可以瞬间分析学生的历史作业、测试数据甚至课堂互动记录，精准定位知识盲区。 我们要警惕过度依赖AI导致的思维惰性。教育的终极目标是培养独立的人格和思考的能力，AI应是辅助思考的拐杖，而非替代思考的大脑。 教师需要引导学生学会向AI提问、辨别AI生成内容的真伪，培养“人机协作”的新素养。 结语：迈向智慧教育的新纪元“AI&ChatGPT 实战训练营”所倡导的，不仅仅是学习几个提示词（Prompt）技巧，而是要建立一种全新的技术思维。
15310编辑于 2026-03-11AI&ChatGPT实战训练营
对于职场人而言，仅仅知道AI是什么、能做什么已经远远不够。未来三年（2026-2029），AI实战能力将不再是一个加分项，而是决定职业生死的核心竞争力。 哪里可以完全交给AI自动化处理？当AI产出结果出现偏差时，如何快速定位是指令模糊、数据源错误还是模型幻觉？这种“指挥千军万马（AI Agents）”的能力，将是区分普通员工与顶尖人才的分水岭。 价值注入： AI擅长处理已知模式的组合，但人类擅长在混乱中定义新问题。核心竞争力在于提出那些AI从未被训练过的问题，并在AI给出的平庸方案中注入独特的洞察和情感价值。 私有化知识库的构建： 懂得如何将企业内部的非结构化数据（会议记录、客户反馈、历史文档）整理成AI可理解的知识库，从而训练出懂业务的专属助手。 深耕行业Know-How： AI是通用的引擎，但行业知识是燃料。你对自己所在行业的理解越深，你给AI的指令就越精准，AI产出的价值就越大。“行业专家+AI高手”是无敌的组合。
21910编辑于 2026-03-05- 来自专栏小洁叫你mysql
数据采集助力AI大模型训练
引言 AI技术在今天已经是我们工作生活中不可或缺的工具，很多小伙伴也在致力于训练AI模型。 通过专业的代理IP服务配合高效的数据采集工具，能够为AI大模型训练提供稳定、可靠且合规的数据支持。 接下来，我们将通过两个实际案例，分别体验亮数据的抓取浏览器和AI训练数据集，看看它们如何简化数据采集流程，助力AI模型训练。 训练数据 在AI模型训练过程中，数据采集往往是最耗时耗力的环节。 所有数据都经过专业的清洗和结构化处理，确保可直接用于模型训练，大幅提升AI项目的开发效率。 接下来我们一起选购AI数据集。
65510编辑于 2025-04-02 - 来自专栏AI系统
【AI系统】训练后量化与部署
本文将会重点介绍训练后量化技术的两种方式：动态和静态方法，将模型权重和激活从浮点数转换为整数，以减少模型大小和加速推理。并以 KL 散度作为例子讲解校准方法和量化粒度控制来平衡模型精度和性能。 训练后量化的方式 训练后量化的方式主要分为动态和静态两种。 相比量化训练，静态离线量化不需要重新训练，可以快速得到量化模型。 静态离线量化的步骤如下： 加载预训练的 FP32 模型，配置用于校准的数据加载器； 读取小批量样本数据，执行模型的前向推理，保存更新待量化算子的量化 scale 等信息； 将 FP32 模型转成 INT8 通过替换块分别量化残差连接 残差连接是许多神经网络模型（如 ResNet）中的重要组成部分，因为它们有助于减轻训练期间可能出现的梯度消失问题。然而，在量化过程中，残差连接可能会带来挑战。
1.2K10编辑于 2024-12-06
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号