算力网络系列文章（二）：从云计算到算力网络

编者按 算力网络，对行业来说，是“整合”还是“分工”？ 一直以来，我都认为算力网络是行业整合的过程，通过算力网络运营商把全国的算力资源统筹到一起，形成高效的统一算力供应。 经过一段时间的深入学习和调查后，目前我对算力网络的理解是：算力网络是行业发展到一定阶段后，逐步走向“分工”的过程。 “算力网络“是“以网络为中心”的多种融合资源供给网络计算模型，将“新计算”（云计算、边缘计算、泛在计算）的算力，通过“新联接”（无处不在的网络）整合起来，实现算力的灵活按需使用。 因此，算力网络的核心应该是算力产品或服务，而不是网络。也因此，合适的表述应该是：算力网络以算力为中心，以网络为支撑（移动的定义明确指出了此点）。 同时，个人觉得，算力网络是算力组成的网络，“网络”的含义是一个形象的比喻，如我们常听到的营销网络、物流网络等概念中的网络是相同的意思。而不仅仅是技术里讲的如以太网、IPv4/v6等的网络技术。

算力网络系列文章（三）：以云服务为中心，发展算力网络

未来将形成的新的业态，我们姑且称之为“算力网络”吧！ 趁着AI大模型的东风，智算基础设施建设如火如荼。 以智算（智算”力”，是算力的一个子集）为重心，更综合更全面的算力网络和算力中心建设，24-26这几年会是一个高潮。 目前，行业发展过程中还存在不少问题。 2.4 算力网络三方分析 如同电商的平台、卖家和买家三方一样，算力网络相关方也可以分为三个： 算力供应方，算力中心。考虑的是如何从内在的软硬件方面做成本优化，同条件下把算力的成本降到最低。 其次，需要考虑市场和销售，需要积极对接各大算力网络运营公司，以及直接对接大客户。 算力需求方，业务客户。 4 AI智算 or 综合计算？ 如果把AI比做“主菜”，那么综合计算则是一桌“宴席”。 云计算、边缘计算和终端计算是计算的位置。而AI计算是计算的业务类型。

到底什么是“算力网络”？

引言： 前几天，小枣君和大家聊了一下“算力”（链接）。今天，我们再接再励，聊聊“算力网络”。 █ 什么是“算力网络” 直奔主题，到底什么是算力网络？ 算力网络不是一项具体的技术，也不是一个具体的设备。 从微观来看，它仍然是一种网络，一种架构与性质完全不同的网络。 算力网络的核心目的，是为用户提供算力资源服务。 连接了美国中西部4所高校的阿帕网（1969年） 70年代，同样是为了服务高校和科研机构的计算机间通信，才有了早期的局域网技术（以太网、TCP/IP协议）。 4、国内运营商左手有网，右手有云。但是，运营商的云，对设备商比较依赖。搞云和网的合作，可以借云卖网，借网卖云，还可以边卖边学，增加对云的掌控力，里外不吃亏。 参考文献： 1、《中国算力发展指数白皮书》，信通院； 2、《算力网络技术白皮书》，中国移动； 3、《算力网络（CAN、CFN、CPN）、东数西算是怎么回事》，QianLing，知乎； 4、《中国联通算力网络白皮书

深度剖析：智算与算力网络及算网融合

智算不仅提升了计算能力，还为各行各业带来了智慧的变革，成为推动科技进步的重要引擎。算力网络的概念算力网络是实现泛在算力的手段。 三者的关系是什么通过上文对智算概念的描述，我们可以将智算翻译为“数据+算力+算法”，如图4所示。智算涉及丰富的计算场景，需要用到大模型计算，处理海量数据。基于智算的这种特性，算力需求激增。 算力与网络在形态和协议方面深度融合，推动算力和网络由网随算动到融为一体，最终打破网络和算力基础设施的边界。网络从支持连接算力，演进为感知算力、承载算力，实现网在算中、算在网中。 网络根据业务需求，按需进行算力网络编程，灵活调度泛在的算力资源，协同全网的算力和网络资源，实现算力路由。 算力网络和算网融合为智算提供了强大的技术支撑，而智算的发展推动了算网融合和算力网络的进步，他们三者是相互促进的关系。智算时代如何打造算力网络在智算时代下，如何打造算力网络，做到算网融合呢？

Sora催化算力需求暴涨，为泛在算力构建开放网络

AGI行业的快速发展需要大量模型训练和推理，推动算力需求持续高涨。 在实际应用中，并不是所有的计算资源都能被充分利用，在计算、数据处理等过程中，大量算力被“闲置”，此时可以考虑泛在算力，从计算、存储和网络服务三个方面提高算力利用率。 泛在算力需要稳定的网络来连接各种计算资源，开放网络的高带宽、低时延、传输稳定性和可靠性等特性为泛在算力提供更多应用场景和可能性。 为泛在算力构建开放网络，业务覆盖云网络、高性能计算/人工智能、企业数据中心、园区接入等领域，同时支持分布式存储、网络可视等功能，在保障规模、带宽、时延及稳定性等性能的同时极大降低成本。 在网络性能方面，星智AI网络解决方案有以下优势：提升了单机网络带宽增加网卡数量，初期业务量少可以考虑CPU和GPU共用，后期给CPU准备单独的1到2张网卡，给GPU准备4或8张网卡；提升单机网卡带宽，同时需要匹配主机

边缘计算与算力网络综述

中国主流运营商还先后发布了《中国联通算力网络白皮书》《算力感知网络技术白皮书》《算力网络架构与技术体系白皮书》等。 在各方的不懈努力下，算力网络的标准化工作取得了进展：在 ITU-T、互联网工程任务组（IETF）、宽带论坛（BBF）、ETSI、CCSA 等全球标准组织中，已立项相关的国际标准 9 项、中国标准 4 项 2021年4月 TC3 全会形成了算力网络系列行业标准的立项，包括算力网络总体技术要求、算力网络标识解析技术要求、算力网络路由协议要求、算力网络控制器技术要求、算力网络交易平台技术要求和算力网络开放能力研究等工作 在这些新型网络技术中，有一项是被称为边缘计算原生的网络技术，即算力网络技术。 目前，算力网络的研究工作主要围绕 4 个方面展开： （1）算力度量。 （4）可信交易。由于算力网络中的各类资源归属不同所有者，算力网络作为一个中间平台，需要考虑如何 确保资源交易真实有效且可溯源。 6.

算力共享-动态感知网络路由

未来算网融合的网络需要感知 内生 算力的资源负载和 XaaS 性能 ，并综合考虑 网络和算力 两个维度的性能指标，从而进行路径和目标服务阶段 的联合优化。 从度量方面看，网络体系的建模已经很成熟，但算力体系还需要 综合考虑异构硬件、多样化算法以及业务算力需求，以及形成算力的度量衡和建模体系。 算力管理层：完成算力运营、算力服务编排，以及对算力资源和网络资源的管理。 该层的具体工作包括对算力资源的 感知、度量，以及 OAM 管 理等 ，实现对终端用户的算网运营以及对算力路由层和网络资源层的管理。 算力路由层：是 CAN 的核心。 其中， 算力资源层和网络资源层是 CAN 的基础设施层，算网管理层和算力路由层是实现算力感知功能体系的两大核心功能模块。

算力网络，还需跨越几道坎？

算力网络≠算力+网络 算力网络直观的理解包含两个关键部分：一是算力，二是网络。然而，“算力网络”的效力不应该是二者的简单的加和，而应该是“倍乘”。 算力网络通过网络来对算力进行价值放大，承载更多的应用缺乏算力的网络只能作为数据的传输网，而缺乏网络的算力的使用价值也将大大降低。 算力网络发展的三大挑战 当前我国算力网络发展存在哪些挑战？ 中国移动集团董事长杨杰认为，发展算力网络亟需破解创新研发基础薄弱、产业现代化水平低、算力需求尚待激发三大难题。 面向远期，则需要为实现算网一体化服务、算力网络衍生出一系列前沿技术，如算力原生、算力路由、在网计算等。 那么，算力网络的发展应该从何入手？ 一是强化算网协同编排能力和算网能力封装建设，加快构建云网边一体化的能力开放调度体系； 二是根据国家“东数西算”战略要求，优化布局形成“5+4+31+X”新型数据中心格局； 三是打造全光网络底座，完善面向用户与算力双核心的公众互联网

57页PPT，看懂算力网络！

算力共享中数据切片：按照神经网络层数；算力共享-策略

​目录dataclasses是什么dataclasses的主要特性和用法包括：示例代码算力共享中数据切片：按照神经网络层数算力共享-策略详细说明：使用场景：算力共享中，任务分片后，是串行执行还是并行执行 算力共享中的任务分片与并行执行按照神经网络层数分片，怎么并行执行而不影响模型参数准确率，尤其在模型训练过程中1. 数据并行与模型并行结合数据并行模型并行2. 确保参数一致性3. 监控和调整4. 示例代码以下是一个简单的dataclasses使用示例：算力共享中数据切片：按照神经网络层算力共享-策略在Python中，PartitioningStrategy 类被定义为一个抽象基类（通过继承自 ABC 算力共享中的任务分片与并行执行任务分片：在算力共享系统中，大任务通常被分解为多个小任务（即任务分片），以便在多个计算资源上并行执行。任务分片的关键在于确定分片的粒度、依赖关系以及分配策略。 4. 注意事项Allreduce函数需要进行大量的数据传输和通信操作，会带来一定的通信开销。其性能受限于网络延迟，当网络延迟较高时，会影响计算的效率和性能。

Coze玩转ChatGPT-4，存算解决大模型算力

ChatGPT-4需要每月充值20美元才能使用，其神经网络参数数量更是达到万亿级别，并且还在不断增长，训练神经网络的计算需求也随之大幅度增长，将AI计算推向了大模型时代[1]。 本篇文章将从费用和算力两个方面出发，先介绍一种免费使用ChatGPT-4的工具——Coze，再介绍可有效解决大模型算力需求的存算架构。 二．大模型算力及存算架构上一章节介绍了一种免费使用ChatGPT-4的工具，可以解决ChatGPT-4的费用问题，下面我将简单介绍ChatGPT-4引出的大模型算力需求，并介绍一种解决方案——存算架构。 如图44所示，大模型的算力需求增长速度约为750倍/2年，而芯片算力增长速度则仅为3.1倍/2年大模型算力需求与芯片算力的不匹配已经成为当前主要矛盾。 图 44 大模型训练算力需求与芯片算力增长速度的对比[5]大模型的训练和推理不仅计算密集，而且极度依赖数据传输效率。

算力网络，我终于集齐了龙珠！

算力突然就火了 甚至要取代地产成为拉动经济的马车 算力枢纽节点的建设成为官方的最新推手 《通信产业报》全媒体 特邀中国电信总经理李正茂先生 撰写《算力时代三定律》说的明白 算力每投入1元可带动3-4元 GDP经济增长 运营商坐拥良好资源 很早就开始了算力的抢位 三大研究院都盯紧了算力网络 2020年中国电信率先吹响新型平台的号角 2021年 中国联通接续发力 将算力网络定位于云网融合2.0的核心 2022年 中国移动研究院一锤定音 关于算力网络的龙珠终于齐聚武道大会 当然王婆卖瓜 阿里云代表的公有云行业 也很早就注意到无所不在的算力 没有管道所以着眼点落在了弹性计算 只有打好基础才能行稳致远 只有厚积薄发才能进而有为 算力时代来临，你找到龙头股了吗？

小算力LVLMs，gpt4平替

其实非常好理解，简单来说就是GPT4o干的事情，输入一张图片和一句话，LVLMs会给出一个回答。GPT4目前是闭源的，目前开源的做法都是想法了接近gpt4的性能。 而对于研究人员而言，没有强大的算力的支持，也只能在一些小规模的LVLMs上寻找一些方法上的创新。下面将介绍一种MOE-LLaVA的方法。 现有的稠密模型不利于扩展数据规模 2.为了解决拓展问题，通常采用稀疏专家的网络机构，而稀疏专家并不利于训练 contribution 1.提出了一种大模型稀疏化的方式 2.提出了一种训练稀疏模型的方法 2.稀疏化 稀疏化的做法：将transformer中的所有FFN换成一个路由+多个FNN 原因：神经网络中的参数，隐式存储了知识，但是有些知识推理的时候是不需要的，希望通过这种路由的方式，高效的利用里面的知识 stage3——训练MoE网络 作为初始化，我们多次复制 FFN 来初始化专家。当图像标记和文本标记被送入MoE层时，路由器计算每个token和专家之间的匹配权重。

OpenStack；异构算力网络架构；算力服务与交易技术；服务编排与调度技术

Neutron： 功能：提供网络服务，包括虚拟网络的创建和管理，支持多种网络模型（如公共云、私有云、混合云）和网络协议（如IPv4、IPv6）。 ，算力网络架构采用基于“K8S+轻量化 K8S”的两级联动 的架构来实现统一的算力资源调度纳管。 为算力网络的资源匹配调度提供基础保障。 算力服务与交易技术 ​服务编排与调度技术 从算力网络的服务模式和交易模式出发，不论是服务使用者还是算力贡献者 都需要考虑三个方面的问题：（1）效费比问题，即从自身信息化建设成本和使用 需求的角度考虑，采用自有资源或租用外部资源 其中在应用 商店提供算力网络服务目录，可以实现算力网络能力一键部署，而在 DevOps 入 口提供函数服务功能，可以进一步满足开发者结合中台能力根据业务场景进行开 发和创新。​

手算Q4单元等效节点力

Q4单元的等效节点力 在前一篇得到面力作用下Q4单元的等效节点力计算公式： 算例 [cv8emepl9j.png] 显然， 注意，这里已经是一元函数积分了，是常数1. , 1] # eta的坐标是1 x = [1, 2, 3, 0] # 单元节点的x坐标 y = [0, 0, 1, 1] # 单元节点的y坐标 f3tx = 0 f3ty = 0 f4tx = 0 f4ty = 0 for i in range (2): N3 = 0.25 * (1 + xi[i]) * ( 1 + eta[i]) N4 = 0.25 * (1 - xi = f4tx + N4 *( tau*J11 - sigma * J12 ) f4ty = f4ty + N4 *( sigma*J11 + tau * J12 ) print(f3tx ,f3ty,f4tx,f4ty)

算力网络，到底是如何工作的？

前几期文章，我给大家详细介绍了一下算力和算力网络的本质。今天，是算力系列的最后一期，我们详细看看算力网络的组网架构和技术体系。 █ 算力网络的架构 之前我提到过，算力网络的作用，是为用户提供算力资源服务。 它将算力资源彻底“融入”通信网络，以一个更整体的形式，提供最符合用户需求的算力资源服务。 这是一个高度灵活、高度智能的网络。 算力网络的核心特征，是它通过算力，实现了对算力资源、网络资源的全面接管，可以让网络实时感知用户的算力需求，以及自身的算力状态。 4、智能辅助决策，基于不同业务的SLA要求、网络整体负载、可用算力资源池分布等因素，智能、动态地计算出算、网、数的最优协同策略。 》，中国移动； 3、《算力网络（CAN、CFN、CPN）、东数西算是怎么回事》，QianLing，知乎； 4、《中国联通算力网络白皮书》，中国联通； 5、《算力网络发展介绍与展望》，曹畅； 6、《什么是算力网络

算力 – computation

文章目录 人工智能里的算力是什么？ 在普通电脑中，CPU就提供了算力帮助电脑快速运行。玩游戏的时候需要显卡提供算力，帮助电脑快速处理图形。 而在 人工智能中，需要有类似CPU和GPU的硬件来提供算力，帮助算法快速运算出结果。 之前在算法里讲过，在制造木桌的过程中，工厂的流水线就是算法。 在那个例子中，工厂中的机器就像算力，机器越好越先进，制造的过程就越快。 ? 算力越大，速度越快 维基百科版本 Techpedia版本 算力是使用计算机技术完成给定目标导向任务的过程。 算力可以包括软件和硬件系统的设计和开发，用于广泛的目的 – 通常构建，处理和管理任何类型的信息 – 以帮助追求科学研究，制作智能系统，以及创建和使用不同的媒体娱乐和交流。 查看详情 维基百科版本 算力是使用计算机的任何活动。它包括开发硬件 和软件，以及使用计算机来管理和处理信息，进行交流和娱乐。算力是现代工业技术的一个至关重要的组成部分。

算力共享：环形结构的算力分配策略

​目录算力共享：环形结构的算力分配策略方法签名方法实现注意事项nodes.sort(key=lambda x: (x[1].memory, x[0]), reverse=True)end = round (start + (node[1].memory / total_memory), 5)算力共享：环形结构的算力分配策略这段代码定义了一个名为RingMemoryWeightedPartitioningStrategy

算力之后，“存力”上位

当算力芯片的摩尔定律逐渐逼近物理极限，存力开始从幕后走向台前，成为AI领域下一个关键赛点。 长期以来，伴随企业数字化转型所建设的“烟囱式”AI基础设施各自为战，数据奔流，价值却困于“堰塞湖”。 存力中心作为新型的数据基础设施，正成为AI时代数据流通和融合应用的破题关键。 AI时代的 “数据决定论” AI技术的发展离不开三大要素：数据、算法和算力。 从ImageNet的1400万张图像到GPT-4的45TB文本数据，海量的多模态数据为AI模型提供了丰富的训练素材。 构建AI时代新型 “数据粮仓” 与算力聚焦在“算”不同，数据存力聚焦在“数”和“存”，是数据生产要素处理的综合能力体现，肩负着为数字经济各种场景提供源源不断的“生产资料”的使命。 将目光投向更长远，新型AI存储很可能是撬动人工智能时代杠杆的另一个支点，“以存强算”“以数助算”亦是弯道超车的重要落点。当AI产业具备扎实的存力底座，才能登高远眺，看见AI时代最美的风景。

万卡算力网络破题之道——腾讯星脉网络篇

本账号聚焦AI时代算力集群与芯片架构挑战，欢迎持续关注！ 一：万卡集群的网络挑战 随着AI大模型参数规模从千亿向万亿发展，单独的计算芯片和存储芯片已无法满足AI大模型对参数量和计算量的需求，成为了制约 AI 技术发展的“算力墙”和“存储墙”两大瓶颈，那么如何构建适配大模型算力的高性能网络 关于万卡集群算力网络所面临的核心网络诉求的详细描述请查阅前序文章：《万卡算力瓶颈破题之道：深度解析阿里HPN 7.0网络架构》、《万亿参数的“神经中枢”：深度拆解百度从万卡到十万卡集群的智算网络进化史》 2.异构网络并行通信：鉴于NVLink和RoCE网络的传输延迟分别为200 ns和4μs，整个集合通信网络的通信受限于RoCE网络。 例如μFab方案通过支持μFab-E的智能网卡与交换机的联动实现网卡级智能限速及动态路径选择，同时利用端侧HPCC高精度拥塞控制算法来进一步实现端侧流控参数的精细化调优，更多细节可以参考前序文章《万卡算力瓶颈破题之道