- 综合排序
- 最热优先
- 最新优先
- 来自专栏科技云报道
要算力更要“算利”，“精装算力”触发大模型产业新变局？
全球AI持续井喷 大模型与智算共振 超大基础模型的训练需要多项关键技术作为支撑，其中算力、算法和数据被喻为驱动人工智能向前的“三驾马车”。 自生成式人工智能服务（AIGC）和GPT大模型训练爆火后，围绕算力、算法和数据相关的讨论此起彼伏，国产大模型应用更是呈现出“千模大战”的状态。 众所周知，大模型是一项“烧钱”的业务，而“烧钱”的最主要原因由于大模型的计算复杂度很高，每次训练都需要使用大量的算力来进行计算和推理。 大模型对算力的需求是显而易见的，但更关键的点可能在于能否把算力更高效地挖掘出来。在不同的阶段，企业对于算力需求也不尽相同。 在这一过程中，大模型尤其是垂类大模型应用的发展，对智算中心提出了更高要求，精细化、绿色化是智算算力高质量发展的必然方向，投建逻辑将进入服务为主的2.0时代。
85700编辑于 2025-03-04 - 来自专栏大模型应用
大模型应用：拆解大模型算力需求：算力是什么？怎么衡量？如何匹配？.64
对大模型而言，算力核心体现在“单位时间内完成矩阵乘法、注意力计算等核心操作的次数”。 2. 算力与显存、模型的协同三者并非孤立，而是形成“三角支撑”关系，缺一不可：显存决定：能否装下模型算力决定：模型运行速度内存决定：模型加载效率只有三者匹配，才能让大模型流畅运行，其中任意的缺陷都会导致效率偏差或运行失败 ，大模型则需双卡 4090 或更强设备。 优化硬件调度，充分释放算力关闭后台占用：确保显卡仅运行大模型，关闭其他GPU加速程序（如游戏、视频渲染）；更新驱动与框架：安装最新NVIDIA驱动、PyTorch框架，优化显卡算力调度效率；多卡分片均衡 五、总结 算力作为大模型运行的核心支撑，其本质是硬件的计算效率，与显存、模型参数、精度形成紧密协同关系，脱离算力谈显存，模型只能“跑起来”却无法“跑流畅”；脱离模型谈算力，则会造成硬件资源浪费
75864编辑于 2026-04-02 - 来自专栏新智元
算力即王道！千亿级AI大模型，没有「算力网」怎么行？
---- 新智元报道 编辑：好困 yaxin 【新智元导读】算力就是生产力，得算力者得天下。千亿级参数AI模型预示着算力大爆炸时代来临，不如织起一张「算力网」试试？ 得算力者得天下。 大模型，好使！ 每次提到大模型都避不开的就是： 1750亿参数的GPT-3。 为了训练GPT-3，微软新建了一个搭载了1万张显卡，价值5亿美元的算力中心。 算力汇聚：连接不同节点的高速网络，实现跨节点之间的算力合理调度，资源弹性分配，从而提升各个人工智能计算中心的利用率，实现对于整体能耗的节省，后续可支持跨节点分布学习，为大模型的研究提供超级算力。 生态汇聚：采用节点互联标准、应用接口标准，实现网络内大模型能力开放与应用创新成果共享，强化跨区域科研和产业协作。 各地算力中心就像大脑中数亿个突触，人工智能算力网络正如神经网络。 如此看来，算力网络的重要意义之一便是通过汇聚大数据+大算力，使能了大模型和重大科研创新，孵化新应用。 进而实现算力网络化，降低算力成本，提升计算能效。
2K60发布于 2021-10-12 - 来自专栏大模型应用
大模型应用：算力分层治理：基于大模型算力四层匹配体系的优化方案.72
一、引言 大模型的应用，算力成了我们逃脱不开的话题，往往我们在谈到模型应用这个事情，算力焦虑似乎成了我们都会遇到的痛点。 今天我们一如既往对算力刨根问底，拆解算力三层核心构成与四层匹配体系，用通俗易懂的示例，和大家一起跳出加卡误区，掌握大模型算力分层治理的核心逻辑，让每一份硬件投入都转化为实实在在的落地效率。 算力的三层核心构成这是大模型算力的底层骨架，三层必须相互匹配，就像“木桶效应”，最短的那块板决定最终算力上限。 1.2 访存算力 大模型的记忆与搬运工，如果说计算算力是“手”，那么访存算力就是“眼睛+手臂+仓库”，它负责记住模型参数、临时中间结果，并在需要时快速把数据送到计算单元手上。 核心逻辑：当单卡无法满足大模型的计算或存储需求时，需要使用多卡、多机构建算力集群。
20043编辑于 2026-04-10 Coze玩转ChatGPT-4，存算解决大模型算力
本篇文章将从费用和算力两个方面出发，先介绍一种免费使用ChatGPT-4的工具——Coze，再介绍可有效解决大模型算力需求的存算架构。 二．大模型算力及存算架构上一章节介绍了一种免费使用ChatGPT-4的工具，可以解决ChatGPT-4的费用问题，下面我将简单介绍ChatGPT-4引出的大模型算力需求，并介绍一种解决方案——存算架构。 如图44所示，大模型的算力需求增长速度约为750倍/2年，而芯片算力增长速度则仅为3.1倍/2年大模型算力需求与芯片算力的不匹配已经成为当前主要矛盾。 图 44 大模型训练算力需求与芯片算力增长速度的对比[5]大模型的训练和推理不仅计算密集，而且极度依赖数据传输效率。 这种架构能显著提高数据处理速度，降低能耗，是解决大模型算力需求的一种具有极大前景的技术。根据计算范式的不同，存算一体可以主要分为模拟式和数字式两种[6]。
2.4K10编辑于 2024-05-14- 来自专栏机器之心
玩大模型，如何越过AI算力门槛
机器之心发布 机器之心编辑部 入局 AIGC，首先需要跨越对 AI 算力资源的考验 大语言模型（LLM）的出现让人工智能的发展迈入新的阶段，也为其他许多行业打开了广阔的想象空间。 上月，彭博社发布了金融领域的垂类大模型 BloombergGPT，基于开源的 GPT-3 框架，使用彭博社的金融大数据进行训练，展现出了极强的应用潜力，也充分印证了一点： 对于那些拥有丰富的领域专业知识和数据的公司 例如，可训练和部署 AI 聊天机器人，运行 DeepStream 流分析工具包，训练推荐系统 DLRM 模型，以及为数据科学家、数据工程师提供从数据准备、模型训练到预测的全流程加速支持。 在管理部署层面，宁畅可为用户提供稳定灵活的支持，以算力池化，弹性扩容，充分提升算力利用率。此外，宁畅还能够实现集群部署，按需调整，以集群的算力水平支持大算力应用。 面对上百亿、千亿乃至万亿规模的训练参数，如何构建符合自身业务特点和需求的 AI 算力平台，进行计算资源的合理配置，让算力真正转化为生产力？
1K30编辑于 2023-04-21 - 来自专栏存内计算加速大模型
存算架构优化：为大模型算力提升铺平道路
然而，大模型的高效运行离不开强大的算力支持，而存算架构的优化则是提升算力的关键所在。本文将探讨现有大模型对算力的需求以及RRAM架构优化如何为大模型的算力提升提供动力，为开发者提供一些实用的指导。 算力需求指数级增长，大模型参数指数级增长。经过大规模预训练的大模型，能够在各种任 务中达到更高的准确性、降低应用的开发门槛、增强模型泛化能力等。 随着海量数据的持续 积累、人工智能算力多样化与算法的突破，大模型参数规模呈现指数级增长，先后经历了预 训练模型、大规模预训练模型、超大规模预训练模型三个阶段，参数量实现百万亿级突破。 与此同时，算力需求也呈现指数级增长。从行业分布上看，大模型的应用领域逐步从学术拓 展至产业，2010 年后产业界对大模型的应用与算力需求显著增长，成为主导力量。AI 期刊论文与开源项目快速增长。 2.2、存内计算技术的潜力为了应对大模型对算力的巨大需求，存内计算技术提供了一种潜在的解决方案。存内计算技术的基本思想是将数据计算移动到存储器中，实现原位计算，消除带宽限制和数据传输成本6。
1.1K10编辑于 2024-05-14 - 来自专栏新智元
大模型只有参数和算力？这款国产大模型证明：落地为王！
---- 新智元报道 编辑：好困 David 【新智元导读】搞大模型，什么最重要？突破天际的参数规模？不差钱的海量算力？还是一刷再刷的SOTA？这些可能都不是！ 从结果上看，国网-百度·文心大模型不仅提升了传统电力专用模型的精度，而且大幅降低了研发门槛，实现了算力、数据、技术等资源的统筹优化。 巨大的参数规模，以及不同模型和算力平台之间的差异，给训练带来了极大的挑战。 在并行训练策略上有创新，对异构硬件支持自适应并行训练，打造了框架与算力、算法相结合三位一体的大模型训练解决方案，实现了端到端的极致性能优化。 如果说拥有自己的算力、算法是一个科技公司的本职；那一口气发布10个大模型，形成基础大模型、任务大模型、行业大模型三级模型体系，并在产业里持续埋头深耕，大概更符合飞桨「源于产业实践，服务于产业应用」的建设思路
2.1K20编辑于 2022-05-30 - 来自专栏【腾讯云开发者】
“GPT们”背后，谁来支撑大模型训练需要的极致算力？
其技术基座大模型的给力支持，往往伴随着大规模、长时间的 GPU 集群训练任务。这对网络互联底座的性能、可靠性、成本等各方面都提出极致要求。业界主流 GPU 集群网络技术路线是什么？ 因此要充分发挥 GPU 计算资源的强大算力，必须构建一个全新的高性能网络底座，用高速网络的大带宽来助推整个集群计算的高效率。 从集群算力的角度，相当于用同样的计算资源，超带宽网络能将系统算力提升48%。 图5. T5-MoE模型训练性能 上图是对 T5-MoE 模型的实测性能数据，主要通信模式是 All-to-All 。 同样可以看到，在64 GPU 模型下，1.6Tbps 带宽下的单次迭代训练耗时降低64%。从集群算力的角度，相当于用同样的计算资源，超带宽网络能将系统算力提升 2.8 倍。 ，GPU集群网络架构也需要不断迭代升级，才能保证系统算力的高利用率与高可用性。
3.1K20编辑于 2023-03-24 - 来自专栏深度学习与python
AI 大模型竞争白热化，算力优化才是“超车点”？
随着 AI 技术的高速发展，以及 AI 大模型的广泛应用，AI 算力需求正在快速增加，大概每隔 3-4 个月就会增加一倍。 比如，特斯拉 FSD 全自动驾驶系统的融合感知模型训练消耗的算力当量是 500 个 PD。 可以看到，在 AI 大模型时代，AI 领域的“军备竞赛”正从过去算法和数据层面的竞争，转变为底层算力的竞争。 1 AI 大模型时代，算力需求大爆发 作为 AI 的重要子领域，机器学习的发展最早可以追溯至 20 世纪 50 年代。 毫无疑问，AI 大模型的训练是一个“非常昂贵的过程”。所以也有观点认为，算力成本是限制 AI 大模型和生成式 AI 发展的因素之一。 “除了在软件、模型和算法层面进行多维度的优化之外，CPU 通用计算领域的发展历程可以为大模型算力领域的成本优化提供一些借鉴意义”。蒋晓维提到。
84030编辑于 2023-08-09 - 来自专栏AI科技评论
AI 大模型开源之困：垄断、围墙与算力之殇
3 不可承受之重：算力 大模型开源的重要性是共识，但通往开源的路上还有一个巨大的拦路虎：算力。 这也正是当前大模型落地所面临的最大挑战。 所以我们不得不直面大模型开源后的窘境，那么，有哪些解决办法？ 我们首先从算力本身的角度来考虑。未来大规模计算机群、算力中心的建设肯定是一个趋势，毕竟端上的计算资源终归难以满足需求。 「现在一张卡可以跑（就推理而言）一个十亿模型，按目前算力的增长速度，等到一张卡可以跑一个千亿模型也就是算力要得到百倍提升，可能需要十年。」张家兴解释。 大模型的落地等不了这么久。 另一个方向是在训练技术上做文章，加快大模型推理速度、降低算力成本、减少能耗，以此来提高大模型的易用性。 大模型结构上的探索创新与开源相互促进，我们需要更多开源来激发大模型技术的变革。 阻碍大模型开源的，除了大模型的算力成本导致的低可用性，还有安全问题。
75130编辑于 2023-04-12 - 来自专栏腾讯云 DNSPod 团队
“GPT们”背后，谁来支撑大模型训练需要的极致算力？
其技术基座大模型的给力支持，往往伴随着大规模、长时间的 GPU 集群训练任务。这对网络互联底座的性能、可靠性、成本等各方面都提出极致要求。业界主流 GPU 集群网络技术路线是什么？
46120编辑于 2023-04-02 - 来自专栏大模型应用
大模型应用：大模型算力优化方案：识别突破隐性瓶颈达到效能最大化.65
一、引言 在大模型落地实践中，我们都会面临一个共性困惑：明明显卡算力达标、模型量化适配，实际运行时却始终跑不满算力，甚至出现卡顿、显存溢出等问题。 ，通过“注意力头裁剪”可减少20%算力消耗，效果损耗仅3%；注意力头太多会导致大量无效运算大模型常用多头注意力机制，但实际应用中30%～50% 的注意力头对结果几乎没贡献。 2.2.2 激活函数选择： Swish激活函数比ReLU更适配大模型效果，但算力消耗高30%，实战中可根据场景取舍；激活函数如果选择的不合适会拖慢推理Swish、GELU 效果好，但涉及指数 、除法等复杂运算，在无专用加速的设备上开销大，比 ReLU 多消耗 25%～30% 的算力。 边缘部署3.1 低功耗场景：平衡算力与功耗核心目标：在嵌入式GPU（如Jetson Orin、NVIDIA AGX Xavier）上部署大模型，适配边缘设备低功耗、低延迟需求。
31643编辑于 2026-04-03 - 来自专栏大模型应用
大模型应用：矩阵乘加（GEMM）全解析：大模型算力消耗的逻辑与优化.68
这一公式是大模型算力测算公式的底层核心，大模型中的GEMM运算本质是高维矩阵乘法，其运算量直接决定了整体算力需求，后续算力测算的简化与校准均基于此公式展开。 手动统计与公式计算的误差接近0，验证了公式的准确性，为后续大模型算力测算提供了坚实的理论支撑。3. 四、GEMM与大模型算力测算公式的关联大模型推理算力测算公式（INT8精度：算力=参数量×序列长度×并发量÷100），本质是GEMM运算量的工程简化与校准。1. 综合以上因素，理论运算量经过系数校准（÷100）后，最终得到工程可用的简化公式，既保留核心逻辑，又降低了测算难度，适合快速估算大模型推理的算力需求五、GEMM运算的优化策略GEMM运算的效率直接决定大模型推理的算力利用率 ，就是因为它并行度高、能覆盖注意力和前馈网络的核心逻辑，还占了90%以上的算力消耗，简单说，大模型算力够不够用、推理快不快，本质就是GEMM运算效率高不高，懂了GEMM，就能明白参数量、序列长度为啥会影响算力需求
35932编辑于 2026-04-06 - 来自专栏自然语言处理(NLP)论文速递
拓展技术边界，掌握AI大语言模型微调（LLaMA）方法 【赠算力】
一、训练（微调）-多GPU训练 当单GPU单张卡无法支撑大模型的训练效率、无法放下一个大模型，当业务对训练速度有一定要求，需要成倍的提高训练效率的时候，就需要GPU集群的技术来处理。 为了能够在比较普通的机器上也能微调大模型，我们首先需要分析一下模型训练过程中都有哪些部分需要消耗存储空间。 在进行深度学习训练的时候，有4大部分的显存开销，分别是模型参数（Parameters），模型参数的梯度（Gradients），优化器状态（Optimizer States）以及中间激活值（Intermediate 类比一下，既然是因为显存不足导致一张卡训练不了大模型，那么ZeRO-Offload的想法就是：显存不足，内存来补。 基于大模型的内在低秩特性，增加旁路矩阵来模拟全模型参数微调，LoRA通过简单有效的方案来达成轻量微调的目的，可以将现在的各种大模型通过轻量微调变成各个不同领域的专业模型。
1.1K30编辑于 2023-10-24 - 来自专栏coderidea
训练大模型到底是算力为王，还是数据为王
在本文中，我们将探讨训练大模型究竟是算力难获得还是数据难获得的问题，并提供一些深入的例子来支持这一讨论。 算力的挑战 训练深度学习模型通常需要大量的算力，特别是在自动驾驶领域。 它们非常昂贵，许多组织和研究人员无法轻松获得足够的算力来进行训练。这是算力难获得的一方面。 数据的挑战 另一方面，数据也是训练自动驾驶大模型时的关键挑战。 而更多的算力也可以用来加速数据集的创建和标注，例如，使用大规模计算集群来自动处理传感器数据和生成标签。 因此，解决训练自动驾驶大模型的难题需要综合考虑算力和数据。 这些硬件可以大大加速深度学习模型的训练和推理，降低了算力难 获得的问题。 此外，一些云计算提供商也提供了深度学习算力的租赁服务，这使得许多组织和研究人员能够获得所需的计算资源，而无需购买昂贵的硬件。 结论 训练自动驾驶大模型的挑战既包括算力难获得，也包括数据难获得。这两个问题之间存在相互作用，需要综合解决。幸运的是，随着深度学习硬件的发展和数据共享的兴起，自动驾驶技术的研究和开发变得更加可行。
70330编辑于 2023-11-06 - 来自专栏又见苍岚
模型运算量、显卡算力说明
关于深度学习的算力、计算量存在很多单位，本文记录相关内容。 概念 算力 指计算设备（GPU、CPU、NPU等）完成计算的能力大小，一般评价指标为在单位时间内完成的运算次数 计算量 指模型推断过程中需要的运算量，一般用来评价模型规模以及推断运行时间 常用单位 单位类型 TOPS和FLOPS指的是每秒的计算量，算是速度方面的，用在芯片算力性能上。FLOPs指的是深度学习模型自身的计算量，算是体量方面的，用在深度学习模型本身参数计算量上。 下图为nvidia-A100/H100部分算力信息，可对比TOPS/TFLOPS区别。 对于描述模型算力的 TFLOPs 网络 运算量 AlexNet 对于AlexNet处理224*224的图像，需要1.4G FLOPS ResNet-152 对于224*224的图像，ResNet-152
3.3K10编辑于 2024-03-05 - 来自专栏亨利笔记
首个开源联邦大模型 FATE-LLM，突破数据与算力壁垒
业内首个开源联邦大模型 FATE-LLM 解决了使用隐私数据来对大模型进行微调（Fine-tune) 和定制化的问题，为企业的大模型应用开辟了新的模式。 01 FATE v1.11版本发布，集成首个开源联邦大模型FATE-LLM 随着 ChatGPT 对话机器人的横空出世，人工智能大模型在学术界、工业界以及投资界掀起了讨论热潮，一时之间，各路大模型的相继出现让人目不暇接 ，从而进一步提高联邦大模型通讯效率。 04 开源开放，大模型发展的必经之路 FATE v.1.11为联邦大模型初步版本，未来FATE开源社区还将针对联邦大模型的算法、效率、安全等方面进行持续优化，并持续推出后续版本，路线图如下： 未来， 联邦大模型将有机会充分利用分散在各个组织的算力和数据，融合联邦学习和AIGC相关技术，实现异构数据分布式安全训练。
2.7K20编辑于 2023-04-18 - 来自专栏软硬件融合
大算力芯片，向左（定制）还是向右（通用）？
大芯片功能定制则是不可行的，技术层次的大芯片架构和设计实现需要足够通用。本篇文章，会就技术层面进行详细分析。 ---- 大算力芯片，定制还是通用？向左还是向右？ 算力，是数字经济时代的核心生产力，算力对推动科技进步、促进行业数字化转型以及支撑经济社会发展发挥着重要的作用。 其次，宏观算力，需要算力芯片大规模部署。芯片想要大规模部署，就要能够灵活地适应更多的场景落地，满足各个用户差异化的需求，满足上层应用经常性的、持续数年的业务逻辑迭代。 再次，宏观算力需要充分利用。 虽然，可以通过网络把各自的计算设备连成一体，但其算力仍然是各自的孤岛，这些算力无法共享和自动化分配，这就需要把各自算力的孤岛打通，主题体现在： 计算需要跨不同的计算引擎，软件需要可以在CPU、GPU、DSA
71640编辑于 2022-12-16 - 来自专栏量子位
ChatGPT的CEO共识：超级AI算力+大模型成为核心竞争力，生产力被重新定义
ChatGPT所代表的人工智能技术将重新定义生产力，超级AI算力+大模型算法正在成为国家和产业战略核心竞争力。 算力如何打开大模型大门？ 宋春雨：AI芯片作为算力的基础，目前处于“一卡难求”的状态；有消息说，满足大规模AI集群的算力，参数模型会面临提升600倍的需求，对应的AI芯片市场、技术将如何满足？ 我个人认为，一方面我们应该拥抱世界大潮流，如大算力，大数据，大模型；另一方面，应当抓住行业数据和用户数据等资源，走大模型和产业结合之路，快速满足用户需求，促进大模型开发，满足两条腿迭代。 ChatGPT正在经历巨大的变迁，我们认为是重新定义生产力颠覆性变化的机会。超级算力和大模型代表的超级算法，正在成为国家和企业的竞争力。 大模型、自动驾驶和AI深度融合应用将持续推动AI算力的提高； 第三是在数据智能时代，特别需要AI的算法、算力、高质量的数据支撑。
3.5K40编辑于 2023-03-09
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号