- 综合排序
- 最热优先
- 最新优先
- 来自专栏新智元
ARK Invest最新报告 ：AI训练成本下降了100倍，但训练最先进AI模型的成本惊人
机器学习训练系统越来越便宜了。 方舟投资(ARK Invest)近日发布了一篇分析报告显示，AI训练成本的提高速度是摩尔定律(Moore’s law)的50倍。 两年间，AI训练成本下降了100倍 方舟评估委员会在其报告中发现，从1960年到2010年，按照摩尔定律，用于训练的AI算力翻了一番。 与此同时，过去三年的训练成本每年下降10倍。 2017年，在公共云上训练像 ResNet-50这样的图像分类器的成本约为1000美元，到了2019年只需大约10美元。 方舟评估委员会预测，按照目前的速度，到今年年底，其训练成本应降至1美元。 ? 该公司预计，随着这一成本的下降，推理的成本(在生产过程中运行一个训练有素的模型)将会下降。 AI发展尚处于初期阶段，训练最先进AI模型的成本依然惊人 方舟投资报告指出， 硬件和软件的突破使得AI训练成本下降。
1.1K40发布于 2020-06-09 - 来自专栏AI分享
字节砍MoE训练成本，节省数百万GPU小时
字节跳动豆包大模型团队开源新一代MoE训练优化技术COMET，成功实现模型训练成本再降40%。该技术已在其万卡GPU集群中完成生产验证，累计节省数百万GPU算力资源。 此前该团队曾推出推理优化架构UltraMem（降低83%推理成本），结合此次训练端突破，形成从训练到推理的全链路降本组合方案。 实测显示，该技术使MoE单层执行速度提升1.96倍，端到端训练效率平均提高71%。 值得关注的是，该方案可与DeepSeek早前开源的DualPipe+DeepEP形成互补，共同突破MoE训练效率天花板。 开源地址现已在GitHub平台发布，为行业提供高效易用的MoE训练加速解决方案。
3.9K12编辑于 2025-03-11 - 来自专栏机器之心
Diffusion预训练成本降低6.5倍，微调硬件成本降低7倍！Colossal-AI完整开源方案低成本加速AIGC产业落地
Colossal-AI 基于在大模型民主化的专业技术积累，开源完整 Stable Diffusion 预训练和个性化微调方案，预训练时间加速和经济成本降低 6.5 倍，个性化微调硬件成本降低 7 倍！ AI 模型规模与性能的同步增长 但高昂的硬件需求和训练成本仍严重阻碍着 AIGC 行业的快速发展。 更低成本——预训练加速与少资源微调 预训练优化 对于预训练而言，一般 batch size 越大，训练速度也越快，Diffusion model 也是类似的。 这意味着数百万美元的训练成本可降低 6.5 倍，极大降低 AIGC 行业训练成本和入场门槛！ 还能进一步对训练、推理进行全流程并行加速，已助力多家新型药物研发企业缩短开发流程，降低研发成本。
2.6K20编辑于 2022-12-15 - 来自专栏大模型应用
大模型应用：高精度量化感知训练(QAT)与低成本后训练量化(PTQ)方案优选.55
量化也是有计划的过程，选择INT4或INT8是个技术决策，但具体实施也要有综合评估的执行方案，是通过“低成本、快部署”的角度选择后训练量化（PTQ），还是通过“高精度、强适配”选择量化感知训练（QAT） 优点与不足3.1 优点数据成本低：仅需少量校准数据，无需完整训练集 算力成本低：CPU或轻量 GPU 即可完成，耗时分钟级 部署效率高：几小时内完成全流程，快速验证效果 3.2 缺点精度损失相对大 ：需要完整的训练数据集，与原模型训练一致算力成本高：相当于重新训练模型，GPU 耗时数天或一周部署周期长：从训练到量化完成，需要完整的训练周期4. ，原 8 位量化权重冻结；print_trainable_parameters()：验证可训练参数占比，确保仅微调少量参数，避免全量训练的高成本。 核心差异数据需求对比 PTQ：只需少量校准数据（千级样本），用于统计权重分布QAT：需要完整训练数据集（百万级），重新进行模型训练算力成本差异 PTQ：极低成本，几分钟到几小时，普通CPU即可完成QAT
19932编辑于 2026-03-24 字节开源MoE架构优化技术：训练效率提升1.7倍，成本降低40%
这一技术通过一系列创新方法，成功将大模型的训练效率提升了约1.7倍，同时显著降低了训练成本，降幅高达40%。这一突破为大规模模型训练提供了更高效、更经济的解决方案。 据悉，该技术已在字节跳动的万卡集群训练中得到实际应用。内部数据显示，自采用该技术以来，已累计节省了数百万GPU小时的训练算力。 对于此次开源的决定，豆包大模型团队希望通过分享这一技术，推动整个AI社区在模型训练效率方面的共同进步。
9510编辑于 2026-03-19- 来自专栏算法一只狗
DeepSeek V3把训练大模型的成本给干下来了
从论文中的公布细节可以得到它的训练成本估算：以 H800 GPU 小时为单位。H800 GPU 的租赁价格假定为每小时 2 美元。 训练分为三个阶段：预训练、上下文扩展和后期训练：预训练：使用了 2664K（266.4 万）GPU 小时，成本约为 532.8 万美元。 上下文扩展：使用了 119K（11.9 万）GPU 小时，成本约为 23.8 万美元。后期训练：使用了 5K GPU 小时，成本约为 1,000 美元。 总成本：2788K（278.8 万）GPU 小时，总费用为 557.6 万美元。比起动辄几百亿人民币都训练不出来一个好用的大模型，DeepSeek V3的训练简直颠覆了大家的想象。 其高效的训练方法和较低的计算成本，可以给其他没有资源的公司借鉴一下，也验证了大规模的GPU集群不是训练大模型的必要条件。好了，以上就是本期的所有内容，我是leo，我们下期再见～
6.2K20编辑于 2024-12-29 - 来自专栏SAP最佳业务实践
SAP关于标准成本、计划成本、目标成本、实际成本
（1）标准成本=标准价*标准量即根据物料主数据上的标准价S*BOM上的物料数量等到标准价，一般来讲我们是通过T-codeCK24发布出来，即我们在物料主数据成本视图2看到的就是标准价。 （2）目标成本=标准价*实际量，标准价同（1），实际量的来源于T-codeCO11N的报工后的工时得到。所以如果你的目标成本有误，一定要去查一下是否没有报工。 （3）实际成本=实际价格*实际量，因为你是采用标准价，所以出入库都是标准价格，系统本身并没有实际价格，但是在CO88结算后会结算出产品差异，即标准价+差异=实际价格。 （4）计划成本=计划价格*计划数量+作业价格*计划数量，计划成本为生产订单计划生产量*计划生产变式中定义的价格，计划成本同目标成本的差别是：目标成本是成本控制的需要，计划成本是企业全面预算和计划控制的需要 ，计划成本核算的时间为计划订单产生时，当你保存订单时已计划成本会自动计算，如果你做出的更改与成本核算有关，则在你保存订单时，会重新计算已计划的成本。
3.7K41发布于 2018-03-27 - 来自专栏全栈程序员必看
成本=固定成本+可变成本_可避免固定成本是机会成本吗
1、固定成本 和 可变成本 根据成本费用与产量的关系可将总成本费用分为： 可变成本；是指随着产品产量的增减而成正比例变化的各项费用。 固定成本：是指不随产品产量的变化的各项成本费用。 半可变（或半固定）成本：有些成本费用属于半可变成本，如不能熄灭的工业炉的燃料费等。 工资、营业费用和流动资金利息等也都可能既有可变因素，又有固定因素。 必要时需将半可变（或半固定）成进一步分解为可变成本和固定成本，使产品成本费用最终划分为可变成本和固定成本。 2、沉没成本 沉没成本是指由于过去的决策已经发生了的，而不能由现在或将来的任何决策改变的成本。 沉没成本常用来和可变成本作比较，可变成本可以被改变，而沉没成本则不能被改变。 示例： 我们来玩一个游戏，假设你是一个北京的打工仔，月收入5000元，扣除五险一金，到手4000多元。
1.5K20编辑于 2022-11-01 DeepSeek大讨论：中国AI在成本、真实训练成本和封闭模型利润率影响方面的领导地位
摘要： DeepSeek在GPU等硬件支出远超5亿美元，论文中600万美元仅是预训练运行GPU成本，研发、硬件总拥有成本（TCO）被排除在外。 DeepSeek 的成本和性能DeepSeek 的价格和效率引发了本周的狂热，主要头条新闻是 DeepSeek V3 的“600 万美元”训练成本。这是错误的。 这就好比指出产品物料清单中的一个特定部分，并将其归因于整个成本。预训练成本只是总成本的一个非常狭窄的部分。训练成本我们相信预训练数字远非模型的实际支出金额。 论文中提到的 600 万美元成本仅归因于预训练运行的 GPU 成本，这只是模型总成本的一部分。被排除在外的还有诸如研发和硬件本身的总拥有成本（TCO）等重要部分。 这意味着路由非常高效，相对于模型的整体大小，每个标记在训练过程中只改变少量参数。这增加了训练效率，并降低了推理成本。
1.2K30编辑于 2025-02-05- 来自专栏机器之心
谷歌Quoc Le团队新transformer：线性可扩展，训练成本仅有原版112
低效率的自回归训练。大多数注意力线性化技术在推理中享受快速解码，但在语言建模等自回归任务上训练可能非常慢。 在进一步扩展到 PG-19 (Rae et al., 2019) 之后，FLASH 将 Transformer++ 的训练成本降低了 12.1 倍，并实现了质量的显着提升。 双向语言建模 该研究在 C4 数据集上预训练和评估所有模型（Raffel 等人，2020），图 5(a) 显示了所有模型在不同上下文长度下每个训练 step 的延迟。 特别是，如果目标是在 125K step 匹配 Transformer++ 的最终困惑度，FLASH- Quad 和 FLASH 可以分别减少 1.1×-2.5× 和 1.0×-4.8× 的训练成本。 在图 6(b)-6(f) 中，Google AI 比较了在 Wiki40-B 上所有模型在增加上下文长度时的质量和训练成本之间的权衡。
63830编辑于 2022-03-04 - 来自专栏机器之心
训练开销骤减，10%成本定制专属类GPT-4多模态大模型
但对于很多研究者来说，训练一个多模态 GPT 代价非常昂贵。本文来自新加坡国立大学和清华大学的研究者提出了一个名为 VPGTrans 框架，以极低成本训练高性能多模态大模型。 极低训练成本：通过我们提出的 VPGTrans 方法，可以快速 (少于 10% 训练时间) 将已有的多模态对话模型的视觉模块迁移到新的语言模型，且达到类似或更优效果。 该框架可以大幅度缩减训练 VL-LLM 所需的计算开销和需要的训练数据。 尤其是，我们的方法在 BLIP-2 以 FlanT5XXL 为基座 LLM 下实现了 5% 左右的训练成本控制。 它可以在显著降低训练成本的同时，实现相当或更好的性能。通过 VPGTrans，我们实现了从 BLIP-2 OPT-2.7B 到 BLIP-2 OPT-6.7B 的 VPG 迁移。
54720编辑于 2023-05-22 - 来自专栏硬核项目经理的专栏
【信管6.1】成本与成本规划
成本与成本规划 项目成本管理就是要确保在批准的预算内完成项目。虽然项目成本管理主要关心的是完成项目活动所需资源的成本，但也必须考虑项目决策对项目产品、服务或成果的使用成本的影响。 由于成本的通用性，我们可以引出许多和成本有关的概念： 项目成本：项目全过程所耗用的各种成本的总和。 全生命周期成本：权益总成本，即开发成本和维护成本的总和。 利润：收益 - 成本 成本控制：对造成项目偏差的因素施加影响，达到控制成本的目的的行为或过程 质量成本：为保证质量而付出的成本 决策成本、招标成本、实施成本 应急储备：和进度管理中的应急储备是相同的概念 成本基准：是经过批准的按时间安排的 成本支出计划 ，并随时反映了经批准的项目成本变更（所增加或减少的资金数目），被用于度量和监督项目的实际执行成本。 可变成本：随着生产量、工作量或时间而变的成本为可变成本。比如做衣服，你要生产得越多，就越需要更多的厂房和工人，成本随着产量要增加的这部分成本就是可变成本。
73910编辑于 2023-03-02 - 来自专栏《C++与 AI：个人经验分享合集》
《鸿蒙系统下AI模型训练加速：时间成本的深度剖析与优化策略》
随着AI应用在鸿蒙系统上的日益普及，如何有效降低模型训练的时间成本，成为了开发者与研究者们亟待攻克的关键课题。这不仅关乎应用的开发效率与迭代速度，更直接影响着用户体验和市场竞争力。 另一方面，硬件资源的动态调配也是降低时间成本的关键。鸿蒙系统的微内核架构具备强大的资源管理能力，能够实时监测设备的负载情况与硬件资源利用率。 因此，采用新型的优化算法成为降低时间成本的有效途径。 采用轻量级的模型架构是降低训练时间成本的重要手段之一。 这些技术的应用不仅能够加速模型训练，还能使模型更适配鸿蒙系统下各种资源条件的设备。在鸿蒙系统与人工智能深度融合的时代背景下，降低模型训练的时间成本是推动AI应用发展的关键。
40300编辑于 2025-03-12 - 来自专栏AiCharm
训练开销骤减，10%成本定制专属类GPT-4多模态大模型
但对于很多研究者来说，训练一个多模态 GPT 代价非常昂贵。本文来自新加坡国立大学和清华大学的研究者提出了一个名为 VPGTrans 框架，以极低成本训练高性能多模态大模型。 极低训练成本：通过我们提出的 VPGTrans 方法，可以快速 (少于 10% 训练时间) 将已有的多模态对话模型的视觉模块迁移到新的语言模型，且达到类似或更优效果。 该框架可以大幅度缩减训练 VL-LLM 所需的计算开销和需要的训练数据。 尤其是，我们的方法在 BLIP-2 以 FlanT5XXL 为基座 LLM 下实现了 5% 左右的训练成本控制。 它可以在显著降低训练成本的同时，实现相当或更好的性能。通过 VPGTrans，我们实现了从 BLIP-2 OPT-2.7B 到 BLIP-2 OPT-6.7B 的 VPG 迁移。
47320编辑于 2023-06-07 - 来自专栏云深知网络 可编程P4君
Meta 最新网络架构研究可将大型语言模型训练网络成本降低 75% ！
摘要 本文挑战了用以训练大型语言模型 (LLM) 而构建any-to-any网络的既定范式。 结果表明，与最先进的any-to-any Clos 网络相比，我们提出的架构可将网络成本降低高达 75%，而不会影响 LLM 训练的性能。 网络架构 成本分析 5、讨论 LLM趋势。 本文探讨了LLM的训练工作量，但推理代表了LLM产品周期的另一个重要部分。推理比训练需要更少的计算资源，因为只有少量数据通过 LLM 并且只计算前向传播 [45]。 数据中心运营商可以通过添加额外的rail道交换机来增加冗余容量，并且与最先进的any-to-any网络设计相比，我们的设计仍然更具成本效益。 我们提出了一种名为“rail-only”的新架构，它符合LLM的独特特征和需求，可降低高达 75% 的成本，同时保持与当前最先进的 Clos 网络相同的性能。
1.4K20编辑于 2023-09-05 - 来自专栏新智元
平价训练AI机器人：谷歌大脑&伯克利联合推出低成本机器人训练平台ROBEL
加州大学伯克利分校和谷歌大脑的研究人员联合打造低成本机器人学习平台ROBEL，支持机器人实验扩展和强化学习，兼具稳健性、灵活性和可重复性。该平台现已发布至开源社区。 当前，在物理硬件上的大多数机器人研究都是在高成本、工业级质量的机器人(PR2、Kuka-arms、ShadowHand、Baxter等)上进行的，目的是在受控环境中进行精确的、受监控的操作。 D'Kitty 这个机器人平台是低成本的，模块化的，易于维护，足够强大，能够支持从零开始的硬件强化学习。 ? 为了使机器人成本便宜和易于构建，研究人员基于现成的组件和常见的原型工具(3D打印或激光切割)设计了ROBEL。该设计很容易组装，只需要几个小时即可构建。 右图：双机器人协同-通过Hi-Herarchical Sim2Real训练的策略可以学习协调两个D'Kitty机器人，将沉重的障碍物推向目标位置（地板上标出的两个+号） 总之，ROBEL平台成本低、性能强大
74540发布于 2019-10-14 - 来自专栏机器之心
XLNet训练成本6万美元，顶5个BERT，大模型「身价」惊人
现在我们来算一下成本，16 个 Cloud TPU v3 总训练成本为 16×8×24×4=12288 美元。 如果按这个数据，那么训练成本为 32×8×24×7=43008 美元，这个成本已经是训练 BERT 的 3 到 4 倍了。 既然成本这么高，以后可以考虑用预训练的 XLNet 代替 BERT 了。 如果我们用最大训练时间 48 小时为基准，那么训练成本为 64×8×48=24576 美元。是的，BigGAN 的训练成本也比 BERT 高，大约是它的两倍左右。 这里我们按照谷歌云的价格计算总成本，从而更好地做对比。总体而言，训练成本为 8×2.48×24×7=3333.12 美元。
1.6K30发布于 2019-07-12 - 来自专栏ATYUN订阅号
MIT开发虚拟现实训练系统Flight Goggles，减少因坠机带来的成本
该团队称之为“Flight Goggles”的系统可以显著减少无人机在实际训练中遇到的碰撞事故的数量。它也可以作为研究人员可能想要训练快速飞行无人机的任何环境和条件的虚拟试验台。 视频播放器 ? 当车辆发生碰撞时，必须对其进行修理或更换，这会延误开发并增加项目成本。 即使这架无人机坠毁数千次，它也不会对成本或开发时间产生太大影响，因为它正在虚拟环境中坠毁，与现实世界没有任何实际接触。 虚拟训练系统具有高度的可塑性。例如，研究人员可以在他们自己的场景或布局中训练无人机，包括实际建筑的详细无人机映射复制品。团队正在考虑与麻省理工学院的Stata中心合作。 训练系统也可用于测试新的传感器或现有传感器的规格，以了解他们如何处理快速飞行的无人机。 该系统还可用于训练无人机在人的周围安全飞行。
58340发布于 2018-07-27 - 来自专栏CodingToDie
# 经济学原理：沉默成本、机会成本和边际成本
最近改了一下工作时间，晚上没有发技术相关的文章，周末补上 经济学原理：沉默成本、机会成本和边际成本 本文为读书笔记，书籍为曼昆的《经济学原理》 一、沉没成本 沉没成本(Sunk cost)：你有一个令你保持沉默的代价 沉没成本又称沉落成本、沉入成本、旁置成本，是管理会计中的一个术语，主要用于项目的投资决策，与其对应的成本概念是新增成本。沉没成本是决策非相关成本，在项目决策时无需考虑。 相对应的，新增成本是决策相关成本，在项目决策时必须考虑。 沉没成本是指已发生或承诺、无法回收的成本支出，如因失误造成的不可收回的投资。 从成本的可追溯性来说，沉没成本可以是直接成本，也可能是间接成本。如果沉没成本可追溯到个别产品或部门则属于直接成本；如果由几个产品或部门共同引起则属于间接成本。 从成本的形态看，沉没成本可以是固定成本，也可能是变动成本。企业在撤消某个部门或是停止某种产品生产时，沉没成本中通常既包括机器设备等固定成本，也包括原材料、零部件等变动成本。
13.6K21发布于 2021-04-13 - 来自专栏机器之心
马腾宇团队新出大模型预训练优化器，比Adam快2倍，成本减半
机器之心报道 机器之心编辑部 鉴于语言模型预训练成本巨大，因而研究者一直在寻找减少训练时间和成本的新方向。Adam 及其变体多年来一直被奉为最先进的优化器，但其会产生过多的开销。 ，从而减少达到相同预训练损失所需的时间和成本，或者在相同预算下实现更好的预训练损失。 需要注意的是，后者需要多 达40％的训练时间和 40％的推理成本。 这项研究也得到了大家的认可。 只需要你多写几行代码，你的成本就能从 200 万美元降至 100 万美元（如果扩展定律成立的话）。」 下面我们看看该优化器具体是如何实现的。 基于这些见解，该研究设计了一种新的优化器 Sophia，它比 Adam 更适应异构曲率，比 Newton 方法更能抵抗非凸性和 Hessian 的快速变化，并且还使用了成本较低的 pre-conditioner
58020编辑于 2023-05-31
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号