- 综合排序
- 最热优先
- 最新优先
- 来自专栏云云众生s
用于训练多模态AI模型的5个有用数据集
译自 5 Useful Datasets for Training Multimodal AI Models，作者 Kimberley Mok。 例如，图像字幕任务需要一个结合图像和相关描述性文本的训练数据集，这可以用来训练AI模型。训练过程结束后，就可以部署AI模型，利用自然语言处理和计算机视觉技术识别新图像的内容并生成相关的文本。 5. MINT-1T MINT-1T是一个庞大的开源数据集，来自Salesforce AI Research，包含一万亿文本标记和34亿张图像——几乎是下一个最大的开源数据集的十倍。 根据研究团队的说法，目标是创建一个包含“图像和文本的自由形式交错序列”的数据集，适合训练大型多模态AI模型。 有如此多的选择，找到合适的训练AI模型的数据集相对容易。更多信息，请查看我们关于构建多模态AI应用程序的工具的帖子，以及一些开源和小型多模态AI模型。
1.6K10编辑于 2025-01-17 - 来自专栏自然语言处理
MMsegmentation教程 5: 训练技巧
在线难样本挖掘 (Online Hard Example Mining, OHEM) 对于训练时采样，我们在 这里 做了像素采样器。 如下例子是使用 PSPNet 训练并采用 OHEM 策略的配置： _base_ = '. 同时使用多种损失函数 (Multiple Losses) 对于训练时损失函数的计算，我们目前支持多个损失函数同时使用。 /fcn_unet_s5-d16_64x64_40k_drive.py' model = dict( decode_head=dict(loss_decode=[dict(type='CrossEntropyLoss loss_weight 和在训练日志里的名字 loss_name。
1.5K41编辑于 2022-03-04 - 来自专栏叶子的开发者社区
【yolov5目标检测】使用yolov5训练自己的训练集
到GitHub上下载整个项目的压缩包zip下来 下来解压zip，把我们刚刚的数据集也放进去 再下载一个yolov5的预训练模型，我这里选择yolov5n.pt，下下来也放到解压文件夹中 然后用pycharm 打开这个文件夹，看看哪里标红还差什么软件包没安装给安装上 配置yaml 先配置一下yolov5预训练模型的yaml，我下载的是yolov5n.pt模型，因此需要配置一下yolov5n.yaml，修改nc (P3, P4, P5) ] 然后开始配置数据集的yaml，可以复制coco128.yaml的内容进行修改，新建一个xxx.yaml，修改path为数据集路径，train为训练集的相对路径，val为验证机的相对路径 然后准备开始训练，打开train.py，修改它的参数，主要是这三行代码需要修改，修改预训练模型文件的路径，配置文件的路径以及数据集配置文件的路径 parser.add_argument('-- 运行完了会生成一个runs文件夹，里面有训练出来的best.pt，和训练过程的记录 然后开始目标检测，准备好运行detect.py的参数，最基本的就是运行的权重文件，就是我们train出来的best.pt
2K20编辑于 2023-10-23 - 来自专栏AI
AI训练师入行指南（四）：模型训练
——从璞玉到珍宝：数据雕刻师的终极修炼 一、开篇在《指南（三）》中，我们根据场景选择了合适的AI模型——就像选定了雕刻和田玉的工具与技法。 现在，我们正式进入训练阶段：用特定数据集将模型从粗坯打磨成传世珍宝。 “用翡翠原石雕佛像，用和田玉刻印章——特定数据集就是AI模型的专属玉料。” 数据集的核心价值领域适配性：用医疗影像数据训练的模型，能识别癌症结节；用电商评论训练的模型，能感知用户情绪波动。 质量决定上限：标注精准的1000条数据，胜过混乱的10万条噪声数据。 成熟AI模型案例解析(1) DeepSeek-Chat（深度求索）数据燃料：千万级高质量中文对话数据（含代码、百科、小说） 训练成果：能生成符合中文语境的代码注释，甚至写出“鲁迅风格”的段子。 真正的AI匠人懂得：用正则化约束过拟合野马，以混合精度在有限资源中雕琢精品——这不是塑料玩具的组装，而是用数据刻刀打磨智能传世珠宝。
73810编辑于 2025-03-31 - 来自专栏FreeBuf
AI领域的预训练与自训练
最近一年，AI领域出现了很多迁移学习(transfer learning)和自学习(self-learning)方面的文章，比较有名的有MoCo，MoCo v2，SimCLR等。 自训练可以分为5个步骤： 使用少量带有标签的数据训练模型 使用步骤1中得到的模型对未标记数据进行预测，预测结果作为伪标签 将标记数据和未标记数据结合标签和伪标签一起训练模型 在测试集上评估模型 重复1- 01 使用监督学习获得预训练模型 作为实验，研究者首先在Imagenet上训练分类网络作为预训练模型，之后监督得到的预训练模型作为骨干网络在COCO数据集上进行训练。 不同数据增强模式下基线、监督式预训练、自训练式预训练下的目标检测结果对比 ? 不同数据增强模式下基线、监督式预训练、自训练式预训练下的目标检测结果对比 ? 统一实验条件下三种预监督方法对比 作为与监督预训练与无监督预训练的对比，对照实验表明使用自训练方法得到的预训练模型在各种数据增强模式，不同主任务训练集尺寸的情况下都能获得明显受益，且显著优于基线(不使用预训练模型
1.9K10发布于 2020-11-16 - 来自专栏罗西的思考
Facebook如何训练超大模型--- (5)
[源码分析] Facebook如何训练超大模型--- (5) 目录 [源码分析] Facebook如何训练超大模型--- (5) 0x00 摘要 0x01 背景 0x02 思路 2.1 学习建议 2.2 之前文章之中我们谈到了FSDP支持混合精度训练，本篇来看看 Activation recomputation。 分布式训练 Parameter Sharding 之 Google Weight Sharding [源码分析] Facebook如何训练超大模型---(1) [源码分析] Facebook如何训练超大模型 --- (2) [源码分析] Facebook如何训练超大模型 --- (3) [源码分析] Facebook如何训练超大模型---(4) 0x01 背景 激活重新计算（Activation recomputation 0xFF https://arxiv.org/pdf/2101.06840.pdf https://www.deepspeed.ai/tutorials/zero-offload/ DeepSpeed:
1.6K10编辑于 2022-11-28 - 来自专栏Python绿色通道
Scrapy实战5：Xpath实战训练
win32stdio.py", line , in <module> import win32api ModuleNotFoundError: No module named 'win32api' (5) (5)在jobbole.py中的的parse函数中加一个断点，然后Debug模式运行测试文件main.py 断点设置： ? 断点设置debug结果分析： ? (5)我们继续获取其他数据（复习巩固一下Xpath的用法） 为了快速、有效率的调式数据，给大家推荐一种方法： # cmd 虚拟环境中输入: scrapy shell 你要调试的网址 scrapy shell
1K20发布于 2020-02-12 - 来自专栏大数据文摘
OpenAI Dota2 5v5模式击败人类，AI每天训练量抵人类180年
大数据文摘编辑组出品 今天凌晨，OpenAI通过官方博客宣布了其在Dota对抗上的新进展——由五个神经网络组成的团战AI团队，在5v5中击败了业余人类玩家，并表示，将有望挑战顶级专业团队。 OpenAI也给了这个能力x5的AI一个简单易懂的名字——OpenAI Five！ 戳这里看5v5比赛视频? ? 它使用在256个GPU和128,000个CPU内核上运行的扩展版近端策略优化进行训练，这是OpenAI去年发布的1v1 Dota AI的更大规模版本。 Dota 2是一款实时战略游戏，有两支队伍，每队5个玩家，每个玩家控制一个称为“英雄”的角色。玩Dota的AI必须掌握以下几点： 1.长时间。 AI经过训练可以通过指数衰减因子γ进行加权，从而最大化指数衰减的未来奖励总和。
1K41发布于 2018-07-31 - 来自专栏人人都是极客
5.训练模型之利用训练的模型识别物体
接下来我们开始训练，这里要做三件事： 将训练数据上传到训练服务器，开始训练。 将训练过程可视化。 导出训练结果导出为可用作推导的模型文件。 num_steps: 20000 最后将训练迭代的次数调整到 20000 次。最终的训练目录是这样的： ? 然后将训练目录打包上传到训练服务器，按照第三课时的内容运行训练脚本。 可视化训练过程 将训练过程可视化是一个很重要的步骤，这样可以随时检查学习的效果，对后期的模型调优有很大的指导意义。 整个训练的时间大概在 6 个小时左右，如果我们从 SSH 登录训练主机的终端直接运行训练代码，那么假设网络出现问题导致 SSH 断开连接的话，训练也会终止，这可不是我们希望看到的。 现在可以根据业务需求自行的进行训练并应用训练结果了，鼓掌！ 可能有人会问，我们用一个可以识别很多其他物体的模型做转移学习，训练出来了一个可以识别熊猫的模型，那么训练出来模型是不是也可以识别其他物体呢。
2.1K40发布于 2018-04-08 - 来自专栏编程杂记
【YOLOV5模型训练】-模型训练需要改动的几个地方
需要修改的几个地方 1.编写.yaml文件 yaml待修改的参数特别重要一定要核对准确，直接影响模型训练成功与否 2.修改代码部分 1.编写.yaml文件 下载完源码后需要重新编写一个.yaml文件，用了训练自己的模型 /my_dataset/images/train/ #训练集images val: .. 验证集 images # 标签个数 nc: 3 # class names names: [ 'l1', 'l2', 'l3' ] #类别的命名 yaml待修改的参数特别重要一定要核对准确，直接影响模型训练成功与否 2.修改代码部分 打开源码里面的train.py文件 第一个地方改为自己新建的数据集 第二个地方改为自己想要到训练迭代次数 python3 train.py 即可运行
48410编辑于 2024-01-17 - 来自专栏算法工程师的学习日志
Python基础训练100题-5
=1: draw(num-1) print(a.center(9,' ')) draw(4) 实例024：斐波那契数列II 题目：有一分数序列：2/1，3/2，5/3，8 /5，13/8，21/13…求出这个数列的前20项之和。
38820编辑于 2022-07-27 - 来自专栏用户12399043的专栏
YOLOv5模型训练流程说明
一、模型训练流程概述YOLOv5 是一种常见的目标检测模型，在实际应用中，其训练过程通常涉及多个阶段，包括数据处理、模型训练与结果验证等环节。 ，不同模型在计算资源消耗与性能表现上有所差异：模型特点yolov5s结构较轻，计算量较小yolov5m综合性能平衡yolov5l参数较多，检测能力较强yolov5x模型规模较大实际选择通常与计算资源条件和应用需求相关 六、模型训练（Training）模型训练阶段通常基于训练脚本进行，通过配置数据路径和初始权重完成训练过程。 python train.py --data data.yaml --weights yolov5s.pt --epochs 100常见训练过程中涉及的参数包括：预训练权重 十、总结YOLOv5模型训练过程通常涉及数据准备、模型训练以及结果验证等多个环节。模型性能通常受到数据质量、模型结构以及训练参数等因素的综合影响。
6110编辑于 2026-04-13 - 来自专栏人工智能小白
AidLux智慧社区AI实战训练
AidLux智慧社区AI实战训练 一、主要目标 围绕智慧社区基本定义、场景需求理解、算法设计实现、边缘设备部署等核心要点，利用边缘设备AidLux，带大家完成智慧社区里面的两个典型场景：高空抛物和车牌识别的算法开发 二、主要内容 1) 智慧社区的各类场景算法的划分； 2) 智慧社区项目落地方式； 3) 边缘设备在智慧社区中的应用场景； 4) 高空抛物场景算法设计及实现； 5) 车牌数据集整理及训练； 6) 车牌识别算法部署及验证 vd_source=fbbf0424880919cc7d918ef607fef2e6 5） 演示视频2 （视频读取方式显示） B站： https://www.bilibili.com/video/BV1S54y1u7uh vd_source=fbbf0424880919cc7d918ef607fef2e6 五、心得体会 通过AidLux智慧社区AI实战训练课程的学习，掌握了智慧社区基本定义、面向应用场景的算法设计及实现、
74200编辑于 2023-03-05 - 来自专栏AI系统
【AI系统】并行训练基本介绍
分布式训练是一种模型训练模式，它将训练工作量分散到多个工作节点上，从而大大提高了训练速度和模型准确性。虽然分布式训练可用于任何类型的 AI 模型训练，但将其用于大模型和计算要求较高的任务最为有利。 （Hybrid Parallel），可扩展的分布式训练组件，如：设备网格（Device Mesh）、RPC 分布式训练以及自定义扩展等。 具体来说，这些功能的实现可以分为三个主要组件：分布式数据并行训练（DDP）是一种广泛采用的单程序多数据训练范式。在 DDP 中，模型会在每个进程上复制，每个模型副本将接收不同的输入数据样本。 基于 RPC 的分布式训练（RPC）支持无法适应数据并行训练的通用训练结构，例如分布式流水线并行、参数服务器范式以及 DDP 与其他训练范式的组合。 通过充分利用这些分布式训练组件，开发人员可以在各种计算要求和硬件配置下高效地训练大模型，实现更快的训练速度和更高的模型准确性。
67610编辑于 2024-12-07 - 来自专栏AI系统
【AI系统】感知量化训练 QAT
本文将会介绍感知量化训练（QAT）流程，这是一种在训练期间模拟量化操作的方法，用于减少将神经网络模型从 FP32 精度量化到 INT8 时的精度损失。 感知量化训练流程 传统的训练后量化将模型从 FP32 量化到 INT8 精度时会产生较大的数值精度损失。 QAT 的流程如下图所示，首先基于预训练好的模型获取计算图，对计算图插入伪量化算子。准备好训练数据进行训练或者微调，在训练过程中最小化量化误差，最终得到 QAT 之后对神经网络模型。 微调时间为原始训练计划的 10% 感知量化训练不需要像原始训练那样耗时，因为模型已经相对较好地训练过，只需要调整到较低的精度。一般来说，微调时间为原始训练计划的 10% 是一个不错的经验法则。 QAT 和 PTQ 对比 PTQ QAT 通常较快 较慢 无需重新训练模型 需要训练/微调模型 量化方案即插即用 量化方案即插即用（需要重新训练） 对模型最终精度控制较少 对最终精度控制更多，因为量化参数是在训练过程中学习到的
1.5K10编辑于 2024-12-06 从0开始训练自己的LLM（5）
准备完模型和训练数据后，我们可以开始计算损失函数，并开始训练。
11710编辑于 2026-03-18优点DevOps 训练营第5期
优点知识 DevOps 训练营第5期以“小班教学+项目实战”为核心模式，为学员提供了一套可复制、可落地的解决方案。一、DevOps 落地的痛点：为何“最后一公里”如此难走？ 优点知识 DevOps 训练营负责人指出，许多团队失败的原因在于，只关注工具使用，却忽视了流程优化与团队协作的同步升级。 二、小班教学：精准诊断，定制化突破转型瓶颈与传统大班课程不同，第5期训练营采用20人小班制，通过“课前调研+分组诊断”模式，为每家企业或团队量身定制学习路径。 五、学员成果：从“单点突破”到“体系化升级”第5期训练营尚未结业，已有学员团队交出亮眼成绩单：某电商团队：将部署频率从每周1次提升至每日3次，故障恢复时间缩短70%。 优点知识 DevOps 训练营第5期正在报名中，如果你正面临以下挑战：工具链碎片化，无法形成闭环跨部门协作低效，推诿现象严重变更风险高，不敢频繁部署
24210编辑于 2025-09-16- 来自专栏新智元
谷歌砸了4亿刀的Anthrophic：AI模型训练计算量5年增加1000倍！
---- 新智元报道 编辑：Britta 【新智元导读】Anthropic对于人工智能发展的安全性研究以及推论表明，人工智能系统的计算量将呈指数型增长，预计未来5年训练AI模型的计算量将增加1000 现在，人工智能系统在大量任务上的表现已经接近人类水平，而且训练这些系统的成本远远低于哈勃太空望远镜、大型强子对撞机这类「大科学」项目，所以说，AI未来的发展潜力巨大。 Anthropic目前的安全研究 Anthropic目前正在各种不同的方向上工作，主要分为三个领域：AI在写作、图像处理或生成、游戏等方面的能力；开发新的算法来训练人工智能系统的对齐能力；评估和理解人工智能系统是否真的对齐 除了CAI，还有人类辅助监督、AI-AI辩论、多Agent RL的红队，以及创建模型生成的评估等多种可扩展的监督方法。通过这些方法，模型可以更好地理解人类的价值观，行为也会更符合人类价值观。 参考资料： https://www.anthropic.com/index/core-views-on-ai-safety
43920编辑于 2023-03-29 AI&ChatGPT实战训练营
当我们站在 2026 年的门槛上回望，会发现“AI&ChatGPT 实战训练营”这类概念早已不再是单纯的技术培训课程，而是一场关于人类认知升级与职业重塑的社会运动。 在三年前，人们还在争论 AI 是否会取代人类；而在今天，核心议题已经转变为：谁更善于驾驭 AI，谁就能定义未来。 未来的核心竞争力，不再是你记住了多少个指令模板，而是你是否具备"AI 原生思维"。这种思维模式要求我们将 AI 视为一个拥有无限知识库、全天候待命的“超级合伙人”，而非简单的执行工具。 在当下的“实战训练营”中，学员们的核心课题不再是“如何问出一个好问题”，而是“如何组建一支 AI 团队”。想象一下，面对一个复杂的市场营销项目：你不再需要分别联系文案、设计师、数据分析师和项目经理。 “AI&ChatGPT 实战训练营”的精神内核，其实就是鼓励每个人打破自我设限，勇敢地跳入这片未知的海域。未来不属于那些试图与机器比拼算力的人，而属于那些懂得利用机器扩展自己心智边界的人。
12210编辑于 2026-03-06- 来自专栏焱融科技
「深度解析」AI训练之数据缓存
深度学习或者AI的出现，改变了我们以往的解决问题的编程方式，不再是代码上直观的表达。 举一个简单的例子，我们如何识别一个数字（图片）是数字9呢？非常直观的方法就是上面有一小圆圈，下面有一个竖线。 AI中有三大核心：算法，算力，数据（存储）。算法自有成熟的框架，由数学科学家去解决；计算能力由CPU甚至GPU去解决。 用一个示意图表示如下： 以下图为例，执行了3轮训练（epoch）,每轮里面定义mini-bach size=5, 其中数据集为1-20个数字，我们看到通过torch.DataLoader, 每次获得了 5个数据(batch x)。 03 缓存的设计 总结起来深度学习的特点： 需要的数据量大 多台机器多个训练并行 每个训练要运行多次 在每次训练中，所有的数据需要遍历一遍 针对不同的训练参数，以及在不同的机器上运行的训练任务，数据集相对保持固定
1.6K40发布于 2020-07-03
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号