- 综合排序
- 最热优先
- 最新优先
- 来自专栏存内计算加速大模型
存算架构优化：为大模型算力提升铺平道路
然而，大模型的高效运行离不开强大的算力支持，而存算架构的优化则是提升算力的关键所在。本文将探讨现有大模型对算力的需求以及RRAM架构优化如何为大模型的算力提升提供动力，为开发者提供一些实用的指导。 2、算力质变，存内计算打造 AI 时代引擎2.1、算力需求指数级增长，加速计算深度变革算力是设备通过处理数据，实现特定结果输出的计算能力。 算力可分为基础算力、智能算力和超算算力三部分，分别提供基础通用计算、人工智能计算 和科学工程计算。 全球算力规模不断增长。 算力水平方面，据 IDC 统计 2021 年美国、中国、 欧洲、日本在全球算力规模中的份额分别为 36%、31%、11%和 6%。中国智能算力规模持续扩大。
1.1K10编辑于 2024-05-14 - 来自专栏产品经理的人工智能学习库
算力 – computation
文章目录 人工智能里的算力是什么？ 在普通电脑中，CPU就提供了算力帮助电脑快速运行。玩游戏的时候需要显卡提供算力，帮助电脑快速处理图形。 而在 人工智能中，需要有类似CPU和GPU的硬件来提供算力，帮助算法快速运算出结果。 之前在算法里讲过，在制造木桌的过程中，工厂的流水线就是算法。 在那个例子中，工厂中的机器就像算力，机器越好越先进，制造的过程就越快。 ? 算力越大，速度越快 维基百科版本 Techpedia版本 算力是使用计算机技术完成给定目标导向任务的过程。 算力可以包括软件和硬件系统的设计和开发，用于广泛的目的 – 通常构建，处理和管理任何类型的信息 – 以帮助追求科学研究，制作智能系统，以及创建和使用不同的媒体娱乐和交流。 查看详情 维基百科版本 算力是使用计算机的任何活动。它包括开发硬件 和软件，以及使用计算机来管理和处理信息，进行交流和娱乐。算力是现代工业技术的一个至关重要的组成部分。
2.6K30发布于 2019-12-18 - 来自专栏腾讯专有云
直播预告：TCS异构算力管理与成本优化
7月1日15:00-15:50，研修营第三期课程《国产适配：异构算力管理与成本优化》强势来袭。 课程亮点： ✅ 智能调度，适配工业复杂算力需求 ✅ 国产适配，突破采购限制，缩短部署周期 该课程基于云原生AI架构，全面覆盖算力资源整合、智能调度策略、国产芯片适配全流程，以统一管理平台、标准化适配框架 、场景化调度算法为核心，为企业打造“高可用、低损耗、快部署”的异构算力解决方案，助力企业“算力资源粗放管理”迈向“精细化成本控制”，深度破解异构算力适配及成本优化难题。 这个夏天，让您的企业告别“算力瓶颈”，用云原生AI驱动算力国产化、调度智能化，让知识产生价值，让智能触手可及！
9900编辑于 2025-06-28 - 来自专栏大语言模型，算力共享
算力共享：环形结构的算力分配策略
目录算力共享：环形结构的算力分配策略方法签名方法实现注意事项nodes.sort(key=lambda x: (x[1].memory, x[0]), reverse=True)end = round (start + (node[1].memory / total_memory), 5)算力共享：环形结构的算力分配策略这段代码定义了一个名为RingMemoryWeightedPartitioningStrategy
98820编辑于 2024-07-26 - 来自专栏科技云报道
算力之后，“存力”上位
当算力芯片的摩尔定律逐渐逼近物理极限，存力开始从幕后走向台前，成为AI领域下一个关键赛点。 长期以来，伴随企业数字化转型所建设的“烟囱式”AI基础设施各自为战，数据奔流，价值却困于“堰塞湖”。 存力中心作为新型的数据基础设施，正成为AI时代数据流通和融合应用的破题关键。 AI时代的 “数据决定论” AI技术的发展离不开三大要素：数据、算法和算力。 在训练方面，高性能并行文件系统可以提升大模型训练效率，超大带宽和容量支持超万卡集群无瓶颈扩展，EB级扩展能力适应海量数据，加速卡直通技术使数据从存储到算力“一跳直达”。 构建AI时代新型 “数据粮仓” 与算力聚焦在“算”不同，数据存力聚焦在“数”和“存”，是数据生产要素处理的综合能力体现，肩负着为数字经济各种场景提供源源不断的“生产资料”的使命。 将目光投向更长远，新型AI存储很可能是撬动人工智能时代杠杆的另一个支点，“以存强算”“以数助算”亦是弯道超车的重要落点。当AI产业具备扎实的存力底座，才能登高远眺，看见AI时代最美的风景。
42500编辑于 2025-06-19 - 来自专栏科技云报道
要算力更要“算利”，“精装算力”触发大模型产业新变局？
大模型对算力的需求是显而易见的，但更关键的点可能在于能否把算力更高效地挖掘出来。在不同的阶段，企业对于算力需求也不尽相同。 《中国算力发展观察报告》显示，有些算力中心整体算力利用率不足30%，大量的算力资源在沉睡中等待被唤醒，算力供需矛盾凸显。 这种演进使智能算力变得不可或缺，且不再局限于简单的算力叠加或升级，而是在多元重构驱动下实现算力的极致拓展与跃迁。 定制化方面，宁畅围绕用户实际应用场景和算力需要，可以为用户定制对应各种算力需求的解决方案，方案完整覆盖用户交付、部署、应用、运维体验和业务需求，本身就涵盖了硬件、软件平台搭建、算法模型优化、应用场景定制等内容 在“软装”层面，宁畅提供从集群、算子再到模型软件优化的全局服务和涵盖算存网管用全体系优化。也就是说从算力集群环境搭建，到AI开发算力调度，再到集群运维和算力运营，都有相对应的软件提供支持。
85800编辑于 2025-03-04 - 来自专栏大模型应用
大模型应用：算力分层治理：基于大模型算力四层匹配体系的优化方案.72
实时生成场景（如大模型对话、AI 文案生成）：对响应速度要求高，通常<1 秒，对算力的单卡推理效率要求高，适合使用中等规模算力集群，采用低延迟推理优化，如模型量化、剪枝、KV Cache 优化，避免使用大规模集群 批量推理场景（如 AI 数据标注、文档批量总结）：对吞吐量要求高，通常>1000条/分钟，对响应速度要求低，适合使用大规模算力集群，采用高吞吐量推理优化，如批量增大、数据并行，实现算力资源的高效利用。 模型微调场景（如行业大模型微调）：对计算算力和访存算力都有较高要求，适合使用中等规模算力集群，采用微调专用优化，如 LoRA 技术，减少参数更新量，降低算力需求，实现业务需求与算力规模的精准匹配。 第四步：监控优化（闭环迭代）部署算力监控工具（如 Prometheus + Grafana），实时监控三层算力的利用率、四层匹配的效率；针对出现的瓶颈（如通信开销过大、显存利用率过低）进行迭代优化，形成 我们首先可以从基础匹配入手，先搞定计算精度适配、显存带宽优化这些低成本动作，用代码验证效果后再进阶多卡协同；再就是是绑定业务场景优化，不同场景对算力需求差异极大，实时推理重低延迟，批量训练重吞吐量，针对性匹配才能让算力价值最大化
20043编辑于 2026-04-10 - 来自专栏ADAS性能优化
生存VS算力
英國「金融時報」報導，鑒於美國近期祭出制裁來壓制中國電腦運算能力，中國科技企業阿里巴巴和壁仞科技為了避免受制裁，正將各自最先進晶片的設計微調，以降低運算處理速度。 華府10月宣布的制裁措施，禁止任何運算能力超過一定門檻的半導體產品出貨至中國除非得到许可。這打亂了上述中國科技企業的發展計畫。 但中國工程師表示，要判斷哪些晶片產品不受制裁並不簡單，因為華府對於如何計算這個速率沒有清楚規範。 根據研究集團伯恩斯坦（Bernstein）計算，從壁仞官方網站存檔紀錄來看，在美國宣布制裁之前，壁仞首款處理器BR100的規格算出傳輸率是640 GB/s，超過限制門檻；但根據壁仞官網目前發布的BR100
1.2K20编辑于 2022-12-20 - 来自专栏运维开发王义杰
函数算力计算
对于一个函数消耗的算力，我们通常用它的运行时间来衡量，例如在基准测试中。你可以测量一个函数运行一次（或者多次）所需要的时间，然后用这个时间来比较不同函数或者同一个函数的不同实现。 然而，这种方法并不能直接测量一个函数消耗的CPU算力。为了获得这种信息，你可能需要使用一种叫做CPU profiling的技术，它可以测量程序在CPU上花费的时间。Go的pprof包提供了这种功能。 一般来说，更复杂的性能分析和优化可能需要更深入的知识和技术，包括对CPU架构、内存层次结构、并发编程等方面的理解。
74510编辑于 2023-08-16 - 来自专栏Python项目实战
算力不一定越猛越好：聊聊 AI 设备的低功耗算力优化这条现实之路
算力不一定越猛越好：聊聊AI设备的低功耗算力优化这条现实之路大家好，我是Echo_Wish。这几年不管是写文章，还是帮朋友看方案，我越来越频繁地听到一句话：“这个模型效果挺好，就是……太费电了。” 今天这篇，咱不讲特别高冷的芯片架构论文，就用工程师、运维、算法人都能听懂的方式，聊聊：AI设备的低功耗算力优化，到底在“省”什么，又是怎么“省”下来的。一、先把话说明白：为什么低功耗比高性能更重要了？ 二、算力优化不是“少算点”，而是“算得聪明点”很多人一提优化，第一反应是：“是不是把模型砍小？”说实话，这是最粗暴、也是最容易走偏的一种。 低功耗算力优化，说到底，是一种对现实的妥协：接受资源有限接受环境复杂接受长期运行但恰恰是这种妥协，让AI真正走出了机房。 低功耗算力优化，不是让AI变弱，而是让AI活得更久、更稳、更现实。
25610编辑于 2025-12-26 - 来自专栏GiantPandaCV
工程部署（三）: 低算力平台模型性能的优化
一、模型优化 1.1 op融合 此处的模型优化指的是我们常说的模型卷积层与bn层的融合或者conection，identity等结构重参化的操作，改想法来源于某天无意参与的一次讨论: 大佬的想法认为 fuse是可以做的，但没那么必要，fuse(conv+bn)＝CB的作用在于其他，而对于提速的作用微乎及微，不过本人更加坚持自己的观点，因为yolov5的对比是基于高算力显卡，低端卡，甚至无GPU，NPU backbone，我们看到单个shuffle block(stride＝2)的组件就使用了两个深度可分离卷积: 光是一整套网络就用了25组depthwise conv(原因在于shufflenet系列为低算力 ，而后处理优化的目的在于减少低效率循环或判断语句，避免大量使用昂贵算子等。 从而可以看出，使用反函数计算可以绕过两次sigmoid的指数操作(计算confidense)，但是否使用此种方法还是需要根据实际业务分析，倘若目标的box_score都偏低，那么这种优化只会变成负优化。
1.3K30编辑于 2022-02-11 - 来自专栏深度学习与python
存储优化是 AI 算力瓶颈的破局之道吗？
AI 训练中的存储需求需要实现的目标是，高吞吐和低延迟的数据访问，同时确保 GPU 的算力得到充分利用。 分布式存储在架构设计上更灵活，而集中存储在不同知识库之间数据共享更便捷。 赵健博： 在深度学习领域中，数据是基础，算力是引擎。训练一个模型需要大量的数据和算力，并且需要反复迭代和验证才能得到想要的模型。 赵健博： 针对 AI 训练中的存储需求，我认为需要实现的目标是高吞吐和低延迟的数据访问，同时确保 GPU 的算力得到充分利用。 GPU 算力停顿的几个问题点如下：首先，在模型训练中，checkpoint 的保存过程会导致计算停顿，直接影响 GPU 算力的释放时间。 因此，如何从这些问题入手，解决瓶颈，优化存储系统的整体性能，是我们面临的核心挑战。 赵健博： 大模型训练需要大量的数据和强大的算力，而存储系统在其中扮演着至关重要的角色。
54010编辑于 2025-04-04 - 来自专栏软硬件融合
算力芯片，如何突围？
作为常年从事计算机算力芯片相关工作的我，今天就从算力芯片这个视角出发，谈谈对国内算力芯片如何实现突围的个人的一些看法。 核心的原因在于，这是目前的GPU计算集群所能支撑的算力上限： 一方面，单芯片算力已经瓶颈，算力增长极度缓慢。 可以在工艺落后1-2代的情况下，实现单个芯片的算力更优。 方法二，算力网络。通过算力网络、东数西算，实现跨集群的算力调度和算力协同，可以实现算力资源的高效利用。 方法三，智能网联。 更庞大算力节点，更高性能更低延迟的网络，更强大的算力基础设施，实现更强大的宏观数字系统。 从ChatGPT等大模型的兴起，看未来计算芯片的发展趋势 从算力网络发展，看未来十年的宏观算力体系 超异构处理器HPU和系统级芯片SOC的区别在哪里？
71220编辑于 2023-11-16 - 来自专栏大语言模型，算力共享
算力服务标识封装
为了解决这一问题，算力服务标识封装技术应运而生，旨在实现算力服务与IP层的解耦，提升算力服务的灵活性和可扩展性。 这个overlay层用于封装算力服务标识，使得算力服务可以在不改变现有IP网络架构的情况下独立部署和管理。 算力服务标识：在overlay层中封装的算力服务标识是区分不同算力服务的唯一标识。 IP层解耦：通过算力服务标识封装，算力服务的路由和管理不再依赖于IP层。这意味着网络中间转发节点在转发数据时，无需识别算力服务标识，仅做普通路由转发即可。 可扩展性：随着算力服务的发展，可以通过增加新的算力服务标识来扩展网络功能，而无需改变现有网络架构。兼容性：算力服务标识封装技术可以与现有网络架构兼容，实现平滑过渡。 数据中心网络：在数据中心网络中，算力服务标识封装技术可以提升数据中心的资源利用率和服务质量。算力服务标识封装技术是一种实现算力服务与IP层解耦的有效手段。
48620编辑于 2024-07-28 - 来自专栏鲜枣课堂
世界算力简史（下）
埃里克·施密特 云计算的本质，是把零散的物理算力资源变成灵活的虚拟算力资源，配合分布式架构，提供理论上无限的算力服务。 算力趋势 2010年至今，算力发展出现两个显著趋势。 一，泛在化。 各个行业对算力有着不同的需求。于是，算力逐渐开始细分，分为通用算力、超算算力、智能算力。 不同的算力需求，也使得算力芯片产生了不同的形态。 除了传统的CPU和GPU之外，NPU、DPU等算力单元开始出现，并成为大众关注的焦点。 在高性能计算上，算力集群成为超算和智算的新宠。 而电子计算机出现后，只用了不到一百年，就让算力翻了百万亿倍。 算力的飞跃 刚刚过去的四十年，信息技术革命的浪潮，席卷了我们生活的每一个角落。整个人类社会，在算力的驱动下，发生了翻天覆地的变革。 我们对算力的需求，还在疯狂增长。 在摩尔定律逐渐走向瓶颈的前提下，我们该如何实现算力的倍增？以量子计算为代表的新型算力，是否会全面崛起？ 就让时间来告诉我们答案吧！ —— 全文完 ——
66820编辑于 2023-08-21 - 来自专栏软硬件融合
算力网络系列文章（二）：从云计算到算力网络
编者按 算力网络，对行业来说，是“整合”还是“分工”？ 一直以来，我都认为算力网络是行业整合的过程，通过算力网络运营商把全国的算力资源统筹到一起，形成高效的统一算力供应。 而在算力网络时代，最主要做的是构建后台算力中心（从数据中心升级到算力中心）和前台算力服务运营解耦分工的新业务模式。 算力中心，专注于算力中心建设，专注于算力的最优性能和最低成本（包括建设成本和运营成本）；同时，还要有非常广阔的算力销售渠道，确保算力的广泛销售，最大限度减少闲置算力资源。 3.3 算力生产和算力运营的解耦 在云计算时代，算力供应和运营是一体的，客户是算力需求方。像电商的平台、卖家、买家三方关系一样，算力网络时代，需要实现算力供应和算力运营的解耦： 算力供应商。 依据规模从大到小，包括：大规模算力中心、小规模边缘算力中心、用户现场算力机柜，以及批量算力终端。 算力需求方。数字化业务需求的各类企业。
2.1K12编辑于 2024-03-27 - 来自专栏鲜枣课堂
世界算力简史（中）
接上集：世界算力简史（上） 在上一篇里，小枣君提到了ENIAC的诞生。 其实，在1945年-1948年，也就是我们中国还处于内战时期时，除了ENIAC诞生外，科技领域还发生了好几件大事。 它改变了计算机产业的商业模式，标志着算力不再仅为少数大型企业服务（大型机），而是开始昂首走向了普通家庭和中小企业。 技术蓄力 除了处理器之外，计算机存储设备和网络技术也有显著进步。 未完待续…… 敬请期待——《世界算力简史（下）》 参考文献： 1、《计算机的发展历史汇总》，网络； 2、《算力发展简史》， 庐山真容； 3、《世界上第一台个人电脑是哪台？》
73820编辑于 2023-08-21 - 来自专栏SDNLAB
“东数西算”培育壮大算力经济
“东数西算”将为我国建设一张算力大网，又可成为算力网络。 我国对算力网络早有布局。 2023年)》，结合数据中心产业现状和发展趋势，确定了“统筹协调，均衡有序；需求牵引，深化协同；分类引导，互促互补；创新驱动，产业升级；绿色低碳，安全可靠”的基本原则，分阶段制定了发展目标，提出了建设布局优化行动 并且，根据《中国算力发展指数白皮书》发布的数据显示，中国算力资源中每投入1元带来的经济收益是3-4元。 ，包括《中国联通算力网络白皮书2019》、《算力感知网络技术白皮书2019》、《中国通信学会算力网络前言报告2020》、《多样性算力技术愿景白皮书2021》、《中国算力发展指数白皮书2021》、《中国移动算力网络白皮书 ，整个市场的技术创新和卡脖子技术的沉淀相对薄弱；然后，虽然我国在算力网络标准规范方面已有初步布局，形成了网络5.0产业联盟算力网络特设工作组；CCSA TC621 算网推进组；ITU 算力网络标准等，但是在具体方向上仍有许多空白
1.7K30编辑于 2022-04-29 - 来自专栏Python项目实战
云端算力调度算法研究：算力不是不够，是你不会“分”
云端算力调度算法研究：算力不是不够，是你不会“分”大家好，我是Echo_Wish。今天想跟你聊一个看起来很高大上、但本质特别接地气的话题——云端算力调度算法。 二、云端算力调度，调的到底是什么？别被“算力”这两个字骗了，它不只是CPU。 在真实云环境里，调度对象至少包括：CPU/vCPU内存GPU/NPU磁盘IO网络带宽拓扑结构（NUMA/跨机房）所以调度算法面对的，其实是一个多维约束优化问题。 2️⃣冷启动与预热容器拉镜像GPU初始化JVM启动很多时候：不是没算力，是算力“没热身”。3️⃣异构算力调度现在的云，不只有CPU：GPUNPUFPGA调度策略必须知道：“这活，谁干最合适。” 1️⃣算法不是越复杂越好很多团队一上来就：强化学习遗传算法多目标优化结果是：调度逻辑没人敢改，系统没人敢碰。
25710编辑于 2025-12-30 - 来自专栏智能相对论
算力形态进化后，AI超算能解开数据科学团队的算力桎梏吗？
一位从事AI医疗影像的专家曾这样阐述过算力的重要性： 由于模型训练经常需要调整某些参数或者尝试不同的模型，算力不够，每个调整都可能需要等上几天才能出结果，这导致模型优化缺乏效率，甚至因为时间太长都忘记了当初的测试目的 几乎所有AI场景对算力的需求都在加速膨胀，过去一些年，市面上能够提供给数据科学团队的算力形态，在一定的条件下都未必能很好地满足需要，尤其是主流的基于CPU的庞大数据中心，在计算能力上离支撑快速迭代要求的算力水准还有较大差距 需求变化推动着供给变革，算力供给形态这些年也在持续进化，其中，一类可以承担人工智能数据中心职责、提供符合需求算力的产品——“AI超级计算机”开始走向台前。 而在具体场景中，很多组织也在通过AI超算获得算力。 小结 如同PC的发展，从一间房到半张桌，从KB到GB到TB，从专业团队操作到人人可用，AI算力设备也在经历类似的过程，高能力、低门槛，优质算力资源正在实现更好的触达，让组织的数据科学团队更好地获取匹配的算力
1.4K30发布于 2021-07-22
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号