- 综合排序
- 最热优先
- 最新优先
- 来自专栏新智元
ARK Invest最新报告 ：AI训练成本下降了100倍，但训练最先进AI模型的成本惊人
与此同时，过去三年的训练成本每年下降10倍。 2017年，在公共云上训练像 ResNet-50这样的图像分类器的成本约为1000美元，到了2019年只需大约10美元。 方舟评估委员会预测，按照目前的速度，到今年年底，其训练成本应降至1美元。 ? 该公司预计，随着这一成本的下降，推理的成本(在生产过程中运行一个训练有素的模型)将会下降。 OpenAI 的报告指出，自 2012 年以来，人工智能模型在 ImageNet 分类中训练神经网络达到相同性能所需的计算量，每 16 个月减少了 2 倍。 ? 谷歌的 Transformer 架构超越了之前的最先进模型—— seq2seq，后者也是谷歌开发的，在 seq2seq 推出三年后，计算能力下降了61倍。 AI发展尚处于初期阶段，训练最先进AI模型的成本依然惊人 方舟投资报告指出， 硬件和软件的突破使得AI训练成本下降。
1.1K40发布于 2020-06-09 - 来自专栏机器之心
马腾宇团队新出大模型预训练优化器，比Adam快2倍，成本减半
机器之心报道 机器之心编辑部 鉴于语言模型预训练成本巨大，因而研究者一直在寻找减少训练时间和成本的新方向。Adam 及其变体多年来一直被奉为最先进的优化器，但其会产生过多的开销。 ，从而减少达到相同预训练损失所需的时间和成本，或者在相同预算下实现更好的预训练损失。 需要注意的是，后者需要多 达40％的训练时间和 40％的推理成本。 这项研究也得到了大家的认可。 而我们的新研究 Sophia 是一个崭新的优化器，在 LLM 上比 Adam 快了 2 倍。只需要你多写几行代码，你的成本就能从 200 万美元降至 100 万美元（如果扩展定律成立的话）。」 在预训练 step 数相同的情况下，使用 Sophia 预训练的 GPT-2 medium 和 GPT-2 large 在大多数子任务上具有更好的少样本准确率。
60520编辑于 2023-05-31 - 来自专栏素履coder
Leetcode模块训练2
示例 2： 输入：nums = [3,2,4], target = 6 输出：[1,2] 示例 3： 输入：nums = [3,3], target = 6 输出：[0,1] 提示： 2 <= nums.length 示例 1： 输入：nums = [1,2,2,3,1] 输出：2 解释： 输入数组的度是 2 ，因为元素 1 和 2 的出现频数最大，均为 2 。 连续子数组里面拥有相同度的有如下所示： [1, 2, 2, 3, 1], [1, 2, 2, 3], [2, 2, 3, 1], [1, 2, 2], [2, 2, 3], [2, 2] 最短连续子数组 [2, 2] 的长度为 2 ，所以返回 2 。 示例 2： 输入：nums = [1,2,2,3,1,4,2] 输出：6 解释： 数组的度是 3 ，因为元素 2 重复出现 3 次。
47720编辑于 2022-11-16 - 来自专栏AI分享
字节砍MoE训练成本，节省数百万GPU小时
字节跳动豆包大模型团队开源新一代MoE训练优化技术COMET，成功实现模型训练成本再降40%。该技术已在其万卡GPU集群中完成生产验证，累计节省数百万GPU算力资源。 此前该团队曾推出推理优化架构UltraMem（降低83%推理成本），结合此次训练端突破，形成从训练到推理的全链路降本组合方案。 实测显示，该技术使MoE单层执行速度提升1.96倍，端到端训练效率平均提高71%。 生产者先通过 All2all/AllGather 操作收集数据，再进行 GEMM 计算；消费者接收数据后，先进行 GEMM 计算，然后进行 TopK-reduce + All2all/ReduceScatter 并行策略（TP,EP） ：TP 代表张量并行度，EP 代表专家并行度，分别设置了 (1,8)、(2,4)、(4,2)、(8,1) 四种不同的组合，不同并行策略组合也在每一组柱状图上方标注 。
4K12编辑于 2025-03-11 - 来自专栏技术人生黄勇
Claude 2 解读 ChatGPT 4 的技术秘密：细节：参数数量、架构、基础设施、训练数据集、成本
正好前两天 Claude 2 开放了网页版本，还支持阅读 PDF。Claude 2 体验! 免费使用，生成代码，逻辑推理提升，对话记忆更长。 上传图标转了一会儿，上传完成，让 Claude 2 帮助我总结文档中心思想。 GPT-4采用混合专家(MoE)架构,有约180亿参数,120层。每次前向传播只使用约280亿参数,大大减少了推理成本。 训练数据集包含约130万亿个token，其中代码数据有4轮epoch。数据集获取仍是主要瓶颈。 训练成本约为6300万美元，采用了8路tensor并行和15路流水线并行。 推理成本比GPT-3大约高3倍。 推理采用了16路混合专家（MoE），每次前向传播选择2个专家。最大批量可达4k+，但利用率较低。多查询注意力机制可降低内存需求。 视觉编码器是单独的，但有交叉注意力。 动机 现在的模型越来越大，训练样本越来越多，每个样本都需要经过模型的全部计算，这就导致了训练成本的平方级增长。
1.2K10编辑于 2024-07-19 - 来自专栏罗西的思考
Facebook如何训练超大模型 --- (2)
[源码分析] Facebook如何训练超大模型 --- (2) 目录 [源码分析] Facebook如何训练超大模型 --- (2) 0x00 摘要 0x01 回顾 1.1 ZeRO 1.1.1 ZeRO 分布式训练 Parameter Sharding 之 Google Weight Sharding [源码分析] Facebook如何训练超大模型---(1) 0x01 回顾 1.1 ZeRO 我们首先回顾一下 深度模型训练之中，显存主要是被Model States 与 Activation 两部分所占用。 Model Parameter: 模型参数，即在训练过程中通过数据“学习”到的信息。 1.1.2 ZeRO-2 ZeRO-2会分割Optimizer States与Gradients。
2.2K30编辑于 2022-05-09 - 来自专栏机器之心
Diffusion预训练成本降低6.5倍，微调硬件成本降低7倍！Colossal-AI完整开源方案低成本加速AIGC产业落地
Colossal-AI 基于在大模型民主化的专业技术积累，开源完整 Stable Diffusion 预训练和个性化微调方案，预训练时间加速和经济成本降低 6.5 倍，个性化微调硬件成本降低 7 倍！ AI 模型规模与性能的同步增长 但高昂的硬件需求和训练成本仍严重阻碍着 AIGC 行业的快速发展。 Thermodynamics 被提出，2020 的论文 Denoising Diffusion Probabilistic Models （DDPM）将其推到了一个新的高度，之后基于扩散模型的 DALL-E 2， 更低成本——预训练加速与少资源微调 预训练优化 对于预训练而言，一般 batch size 越大，训练速度也越快，Diffusion model 也是类似的。 这意味着数百万美元的训练成本可降低 6.5 倍，极大降低 AIGC 行业训练成本和入场门槛！
2.6K20编辑于 2022-12-15 - 来自专栏JadePeng的技术博客
fastText训练word2vec并用于训练任务
/fastText.git 然后make编译： make 编译后，将生成的fastText移到bin cp fasttext /usr/local/bin/ 训练word2vec 先讲语料分好词，比如保存到 开始调用fasttext训练： fasttext skipgram -input sent_train.txt -output . -0.16032 0.14793 0.021469 0.22363 -0.20411 0.07628 -0.096523 -0.11407 -0.35992 转换为pytorch可加载格式 为了方便训练使用 ','word2vec.npy') 训练模型 参考opennre的cnn分类代码： import torch import numpy as np import json import opennre ' wordi2d = json.load(open('pretrain/glove/word2id.json')) word2vec = np.load('pretrain/glove/word2vec.npy
71220发布于 2020-02-18 - 来自专栏后端从入门到精通
连接查询成本(2)---mysql进阶（四十二)
上篇文章说了连接查询的成本，主要由驱动表的扇出值和被驱动表的查询方法决定，而成本这些都是可以在%cost%表查看的，因为分为server和engine表，server不管理数据成本，里面包含连接管理，查询缓存 ，sql解码，sql优化，engine就是数据引擎成本，而distinct，union等特殊查询，会建立临时表，临时表看数据量可能建立磁盘或者内存，比如distinct会用unique索引建立临时表去重 连接查询成本(2)---mysql进阶（四十二) 我们前面说了show index from可以看到表的索引信息，show table status可以看到表的数据，那这些数据怎么来的呢？ 连接查询，如果涉及两个表等值匹配，连接条件的被驱动表又有索引时，则可以用ref访问被驱动表： SELECT * FROM t1 JOIN t2 ON t1.column = t2.key WHERE . ..; 在对t2表查询之前，t2.key的值是不确定的， 所以这时候只能依赖统计数据去计算平均值来判断记录数。
95620编辑于 2022-07-26 - 来自专栏狼组安全团队
低成本隐藏加速你的C2
当然你甚至还可以把C2管理端口使用不同工具映射出来。。。。
1.4K10发布于 2021-03-01 【模型免训练高效集成】DINOv2 + SAM 2
【模型免训练高效集成】DINOv2 + SAM 2 当目标检测遇上图像分割，AI 视觉正迎来一场静悄悄的革命。 引言 在人工智能尤其是计算机视觉迅猛发展的当下，我们正见证着一个又一个技术奇迹的诞生。 DINOv2 带来了几个关键优势： 即插即用：无需额外训练，直接提取高质量特征 卓越泛化：在未见过的数据和任务上表现优异 多尺度理解：同时捕捉局部细节和全局上下文 高效推理：相比需要微调的模型，大大节省计算资源 ：无论是点、框、掩码还是文本描述，都能理解并作出反应 DINOv2 + SAM 2：免训练的完美组合 无缝集成架构 将 DINOv2 和 SAM 2 结合在一起的优势在于无需联合训练。 DINOv2 + SAM 2 的免训练特性让车辆能够快速适应新环境： 医疗影像：医生的AI助手 在医疗诊断中，这个组合展现出了巨大潜力： 快速适配：无需医疗数据训练即可处理各种影像 精准分割：对器官、病变区域进行精确勾勒 14 9.3GB Cityscapes 63.5% 91.8% 20 8.1GB 相比微调方法的优势 零数据准备：无需标注数据即可获得优秀性能 即时可用：从下载到部署只需几分钟 资源节约：节省大量的训练时间和计算成本
87610编辑于 2025-09-04- 来自专栏网络安全攻防
应急响应靶机训练-Linux2
abcdefg) 提交Webshell连接密码 提交数据包的flag1 提交攻击者使用的后续上传的木马文件名称 提交攻击者隐藏的flag2 提交攻击者隐藏的flag3 环境构建 下载靶机并使用VMware 最后我们在/www/wwwroot/127.0.0.1/lib/目录下的config.inc.php中发现数据库的链接密码——5Sx8mK5ieyLPb84m 随后我们登录数据库并查询数据库表 随即查询x2_ user-app-register 要么就是/version2.php 随后我们直接跟踪第一个数据报文： 我们在响应报文中发现了Linux内核版本以及当前用户名： 那么这里应该是执行了请求包中的某些命令 为version2.php 第六问答 靶机的第六个问题是"提交攻击者隐藏的flag2"，我们随即在HTTP报文中过滤一下flag2，结果发现空空如也： 随机转战至操作系统层面进行排查，在这里我们直接检索一下历史命令记录 ： cat ~/.bash_history 随机看到有对文件的编辑： 从中得到flag2——$flag2 = "flag{bL5Frin6JVwVw7tJBdqXlHCMVpAenXI9In9}"; 第七问答
69200编辑于 2025-01-14 - 来自专栏大模型应用
大模型应用：高精度量化感知训练(QAT)与低成本后训练量化(PTQ)方案优选.55
优点与不足3.1 优点数据成本低：仅需少量校准数据，无需完整训练集 算力成本低：CPU或轻量 GPU 即可完成，耗时分钟级 部署效率高：几小时内完成全流程，快速验证效果 3.2 缺点精度损失相对大 ：需要完整的训练数据集，与原模型训练一致算力成本高：相当于重新训练模型，GPU 耗时数天或一周部署周期长：从训练到量化完成，需要完整的训练周期4. ，原 8 位量化权重冻结；print_trainable_parameters()：验证可训练参数占比，确保仅微调少量参数，避免全量训练的高成本。 核心差异数据需求对比 PTQ：只需少量校准数据（千级样本），用于统计权重分布QAT：需要完整训练数据集（百万级），重新进行模型训练算力成本差异 PTQ：极低成本，几分钟到几小时，普通CPU即可完成QAT 如果达标，直接选择 PTQ，低成本、高效率的方案永远是首选。2.
41743编辑于 2026-03-24 - 来自专栏晨星先生的自留地
黑客技能训练之攻破VulnOS 2
最近迷上了国外的一个CTF训练网站，里面有很多国外的黑客打包好的系统（VulnOS）给安全爱好者们练习黑客技能。 n_id=1&name=2&data=2020，我们想指定name参数进行注入 sqlmap -u “url” -p name sqlmap.py -u “http://192.168.56.104
1.6K30发布于 2018-06-07 - 来自专栏ypw
18级个人训练赛--2
= v.second; if(d+w<dis[id2]){ dis[id2] = d+w; heap.push({dis[id2],id2}); } } } if(dis m/2; flag2 = m-1; } else{ flag1 = m; flag2 = (m-1)/2; } cout i++){ if(a[i][2]! =0&&a[i][2]! =0){ st+=s[i]; a[i][2]=-1; } } } for(ll i=0;i<n;i++){ if(a[i][2]!
43040发布于 2020-09-11 - 来自专栏算法工程师的学习日志
Python基础训练100题-2
# 递归实现 def Fib(n): return 1 if n<=2 else Fib(n-1)+Fib(n-2) print(Fib(int(input()))) # 朴素实现 target import copy a = [1,2,3,4,['a','b']] b = a# 赋值 c = a[:]# 浅拷贝 d = copy.copy(a)# 浅拷贝 e = copy.deepcopy for i in range(1,10): for j in range(1,i+1): print('%d*%d=%2ld '%(i,j,i*j),end='') print import time for i in range(4): print(str(int(time.time()))[-2:]) time.sleep(1) 实例010：给人看的时间 题目
32820编辑于 2022-07-27 - 来自专栏AI那点小事
算法训练 2的次幂表示
将这种2进制表示写成2的次幂的和的形式，令次幂高的排在前面，可得到如下表达式：137=2^7+2^3+2^0 现在约定幂次用括号来表示，即a^b表示为a（b） 此时，137可表示为：2（ 7）+2（3）+2（0） 进一步：7=2^2+2+2^0 （2^1用2表示） 3=2+2^0 所以最后137可表示为：2（2（2）+2+2（0））+2（2+2（0））+2（0） 又如：1315=2^10+2^8+2^5+2+1 所以1315最后可表示为： 2（2（2+2（0））+2）+2（2（2+2（0）））+2（2（2）+2（0））+2+2（0） 输入格式 正整数（1<=n<=20000） 输出格式 符合约定的n的0，2表示（在表示中不能有空格） 样例输入 137 样例输出 2(2(2)+2+2(0))+2( 2+2(0))+2(0) 样例输入 1315 样例输出 2(2(2+2(0))+2)+2(2(2+2(0)))+2(2(2)+2(0))+2+2(0) 提示 用递归实现会比较简单
64720发布于 2020-04-20 字节开源MoE架构优化技术：训练效率提升1.7倍，成本降低40%
这一技术通过一系列创新方法，成功将大模型的训练效率提升了约1.7倍，同时显著降低了训练成本，降幅高达40%。这一突破为大规模模型训练提供了更高效、更经济的解决方案。 据悉，该技术已在字节跳动的万卡集群训练中得到实际应用。内部数据显示，自采用该技术以来，已累计节省了数百万GPU小时的训练算力。 对于此次开源的决定，豆包大模型团队希望通过分享这一技术，推动整个AI社区在模型训练效率方面的共同进步。
11410编辑于 2026-03-19- 来自专栏算法一只狗
DeepSeek V3把训练大模型的成本给干下来了
从论文中的公布细节可以得到它的训练成本估算：以 H800 GPU 小时为单位。H800 GPU 的租赁价格假定为每小时 2 美元。 训练分为三个阶段：预训练、上下文扩展和后期训练：预训练：使用了 2664K（266.4 万）GPU 小时，成本约为 532.8 万美元。 上下文扩展：使用了 119K（11.9 万）GPU 小时，成本约为 23.8 万美元。后期训练：使用了 5K GPU 小时，成本约为 1,000 美元。 总成本：2788K（278.8 万）GPU 小时，总费用为 557.6 万美元。比起动辄几百亿人民币都训练不出来一个好用的大模型，DeepSeek V3的训练简直颠覆了大家的想象。 其高效的训练方法和较低的计算成本，可以给其他没有资源的公司借鉴一下，也验证了大规模的GPU集群不是训练大模型的必要条件。好了，以上就是本期的所有内容，我是leo，我们下期再见～
6.3K20编辑于 2024-12-29 - 来自专栏SAP最佳业务实践
SAP关于标准成本、计划成本、目标成本、实际成本
（1）标准成本=标准价*标准量即根据物料主数据上的标准价S*BOM上的物料数量等到标准价，一般来讲我们是通过T-codeCK24发布出来，即我们在物料主数据成本视图2看到的就是标准价。 （2）目标成本=标准价*实际量，标准价同（1），实际量的来源于T-codeCO11N的报工后的工时得到。所以如果你的目标成本有误，一定要去查一下是否没有报工。 （3）实际成本=实际价格*实际量，因为你是采用标准价，所以出入库都是标准价格，系统本身并没有实际价格，但是在CO88结算后会结算出产品差异，即标准价+差异=实际价格。 （4）计划成本=计划价格*计划数量+作业价格*计划数量，计划成本为生产订单计划生产量*计划生产变式中定义的价格，计划成本同目标成本的差别是：目标成本是成本控制的需要，计划成本是企业全面预算和计划控制的需要 ，计划成本核算的时间为计划订单产生时，当你保存订单时已计划成本会自动计算，如果你做出的更改与成本核算有关，则在你保存订单时，会重新计算已计划的成本。
3.7K41发布于 2018-03-27
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号