首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • EMR on TKE 容器化部署详解:复用降低资源成本

    摘要: EMR on TKE 支持在容器服务 TKE 上部署开源大数据组件,实现容器化运行,支持复用,降低资源成本,适用于需要灵活调度资源的场景。 复用:支持在离线混合部署,复用,降低资源成本。 运维简便:减少对于底层资源的运维关注。 三、复用 3.1 在离线混合部署 EMR 支持基于容器服务 TKE 部署,实现在离线混合部署。 通过在离线混合部署,可以在白天优先保障在线业务的资源需求,在晚上优先保障离线业务的资源需求,从而复用,降低资源成本。 TKE 提供了多种资源调度策略,包括: 按优先级调度 按资源需求调度 按节点亲和性调度 按污点和容忍度调度 通过这些调度策略,可以实现复用,降低资源成本。

    1800编辑于 2026-07-07
  • TKE云原生底座:通过与FinOps实现资源利用率提升至65%及成本降低30%

    智能化转型面临的与成本困境 汽车行业在智能化转型过程中,需求呈现爆发式增长,覆盖素材采集、数据脱敏、模型训练及推理等全链路,峰值需消耗数百张GPU卡及数万核CPU。 构建TKE多形态底座与FinOps体系 腾讯云容器专家架构师邱凯提出通过TKE原生节点构筑高效能AI底座,采用云函数(SCF)、超级节点、原生节点三种技术支柱协同的解决方案: 原生节点(TKE Native 成本优化ROI: 在智能辅助驾驶场景中,利用复用,使用700+张GPU卡即可完成原本需要1600+TB/天的数据处理任务,无需新增300+张GPU卡,总成本降低30%。 智能辅助驾驶场景的实践 针对智能辅助驾驶的数据处理需求,TKE通过“白天推理,晚上训练”的调度重构,实现了资源的高效复用: 场景痛点: 量产车在线脱敏业务主要在6:00-23:00运行,消耗千张 通过,离线数据上云后无需等待,利用在线业务空闲期自动批处理,极大提升了资源周转率。

    24910编辑于 2026-05-31
  • 来自专栏产品经理的人工智能学习库

    – computation

    文章目录 人工智能里的是什么? 在普通电脑中,CPU就提供了帮助电脑快速运行。玩游戏的时候需要显卡提供,帮助电脑快速处理图形。 而在 人工智能中,需要有类似CPU和GPU的硬件来提供,帮助算法快速运算出结果。 之前在算法里讲过,在制造木桌的过程中,工厂的流水线就是算法。 在那个例子中,工厂中的机器就像,机器越好越先进,制造的过程就越快。 ? 越大,速度越快 维基百科版本 Techpedia版本 是使用计算机技术完成给定目标导向任务的过程。 可以包括软件和硬件系统的设计和开发,用于广泛的目的 – 通常构建,处理和管理任何类型的信息 – 以帮助追求科学研究,制作智能系统,以及创建和使用不同的媒体娱乐和交流。 查看详情 维基百科版本 是使用计算机的任何活动。它包括开发硬件 和软件,以及使用计算机来管理和处理信息,进行交流和娱乐。是现代工业技术的一个至关重要的组成部分。

    2.7K30发布于 2019-12-18
  • 来自专栏大语言模型,算力共享

    共享:环形结构的分配策略

    ​目录共享:环形结构的分配策略方法签名方法实现注意事项nodes.sort(key=lambda x: (x[1].memory, x[0]), reverse=True)end = round (start + (node[1].memory / total_memory), 5)共享:环形结构的分配策略这段代码定义了一个名为RingMemoryWeightedPartitioningStrategy

    1.3K20编辑于 2024-07-26
  • 来自专栏科技云报道

    之后,“存”上位

    中心作为新型的数据基础设施,正成为AI时代数据流通和融合应用的破题关键。 AI时代的 “数据决定论” AI技术的发展离不开三大要素:数据、算法和。 然而,中国仅有3%左右的数据被有效保存,数据存留率只有美国等发达国家的三分之一。海量数据如指间流沙般“产而未采、采而未存”,其中蕴含的巨大价值最终消散于无形。 作为AI时代的“燃料”,数据若存不下、用不好,再强的也如同无米之炊。 正如华为公司副总裁周跃所言,我国迈向数据强国的进程中,其关键已超越数据规模的单纯积累,转向对数据质量的深度聚焦。 构建AI时代新型 “数据粮仓” 与聚焦在“”不同,数据存聚焦在“数”和“存”,是数据生产要素处理的综合能力体现,肩负着为数字经济各种场景提供源源不断的“生产资料”的使命。 周跃曾表示,AI时代首先要做到数据Ready。近两年,从国家到地方、从行业到企业,正在加快存中心的建设步伐。

    55500编辑于 2025-06-19
  • 来自专栏科技云报道

    更要“利”,“精装”触发大模型产业新变局?

    面对如此巨大的需求,企业如何在平衡与能耗开支的前提下,高效地利用和管理算资源,是实现降本增效的重要命题。这其中,对基础设施和软件平台的精细化运营管理成为破题的关键。 大模型对的需求是显而易见的,但更关键的点可能在于能否把更高效地挖掘出来。在不同的阶段,企业对于需求也不尽相同。 《中国发展观察报告》显示,有些中心整体利用率不足30%,大量的资源在沉睡中等待被唤醒,供需矛盾凸显。 这种演进使智能变得不可或缺,且不再局限于简单的叠加或升级,而是在多元重构驱动下实现的极致拓展与跃迁。 所谓“精装”,就是依托宁畅定制化与全栈全液能力,以栈为交付形态,从用户需求与体验出发,提供全体系软硬协同的精细化服务。

    1.2K00编辑于 2025-03-04
  • 的迷雾

    在山景城,Google的Gemini 3 Pro却席卷全球,助推母公司Alphabet的市值逼近4万亿美元大关。 如果我们仅仅根据GPT-5的表现就断言Scaling Law失效,那是短视的。 同样的洪流,却给出了完全不同的答案。 这不是巧合,而是一层正在缓慢下沉的迷雾。 为什么投入了天文数字的,Loss曲线(误差)却有时拒绝下降,甚至莫名其妙地发散? 如果我们只是简单地将其归结为不够或数据不够,那就太傲慢了。 在万亿维度的黑暗森林里,我们拿着手电筒(),却照不到地图的边界。 这时候,单纯地堆,加大Batch Size或学习率,就像是在平原上从走路变成了狂奔。 但这有用吗? 代价:训练效率极低,无法跑满,甚至可能在原地打转。

    12410编辑于 2026-07-02
  • 来自专栏ADAS性能优化

    生存VS

    英國「金融時報」報導,鑒於美國近期祭出制裁來壓制中國電腦運能力,中國科技企業阿里巴巴和壁仞科技為了避免受制裁,正將各自最先進晶片的設計微調,以降低運處理速度。 華府10月宣布的制裁措施,禁止任何運能力超過一定門檻的半導體產品出貨至中國除非得到许可。這打亂了上述中國科技企業的發展計畫。 但中國工程師表示,要判斷哪些晶片產品不受制裁並不簡單,因為華府對於如何計這個速率沒有清楚規範。 根據研究集團伯恩斯坦(Bernstein)計,從壁仞官方網站存檔紀錄來看,在美國宣布制裁之前,壁仞首款處理器BR100的規格算出傳輸率是640 GB/s,超過限制門檻;但根據壁仞官網目前發布的BR100 而聽取過阿里巴巴半導體子公司平頭哥相關簡報的人士也透露,平頭哥正在研究如何修改它專為AI工作所設計的最新5奈米製程處理器,且目前考慮的修改方案須交由台積電再進行一次生產測試,意味時程將延遲數個月,且可能多出額外1000萬美元(約新台幣3

    1.4K20编辑于 2022-12-20
  • 来自专栏运维开发王义杰

    函数计算

    对于一个函数消耗的,我们通常用它的运行时间来衡量,例如在基准测试中。你可以测量一个函数运行一次(或者多次)所需要的时间,然后用这个时间来比较不同函数或者同一个函数的不同实现。 然而,这种方法并不能直接测量一个函数消耗的CPU。为了获得这种信息,你可能需要使用一种叫做CPU profiling的技术,它可以测量程序在CPU上花费的时间。Go的pprof包提供了这种功能。

    84610编辑于 2023-08-16
  • 来自专栏新智元

    「2020中国AI报告」重磅出炉:中国怎么解决GPT-3难题?

    而且,随着模型参数和训练数据越来越大,若跟不上,GPT-3根本「跑」不起来。 我们可以用petaflops/s-day这个单位来衡量,可以玩「变脸」的生成对抗网络(GAN)大概需要3petaflop,目前全球第一快的超级计算机日本的富岳Fugaku ,每秒550petaflop ;而GPT-3计算需求居然达到了3640petaflop。 ,也就是数据的处理能力,与数据、算法,并称为AI三要素。从GPT-3中可以见得,如果没有强大的处理能力,模型的规模再大、再全面,也是纸上谈兵。可以说,已经成为制约AI产业化发展的关键因素。 如果智能计算中心成为全行业的提供者,以中国AI市场的规模,类似GPT-3、谷歌T4的超大AI模型的出现将被提上日程,届时,我们就会真正感受到「改变中国,驱动未来,是生产」。

    67550编辑于 2023-05-22
  • 来自专栏万物可视

    山东、江苏实施水泥停产,细化到每条生产线!

    山东省水泥行业协会下发通知称,决定实施夏季生产,停窑20天。全省水泥熟料企业的熟料生产线(包含特种熟料生产线和建通窑,不含鲁北化工、汇泰再生资源的化工配套生产线)均参与此次生产实施。 2022年江苏省水泥行业停窑及核查方案要求江苏涉及熟料生产的23家企业,39条生产线,全年停窑总天数不少于70天。生产一吨水泥综合电耗在70度以内,实物煤耗在110公斤左右。 每生产1吨硅酸盐水泥至少要粉磨3吨物料(包括各种原料、燃料、熟料、混合料、石膏),干法水泥生产线粉磨作业需要消耗的动力约占全厂动力的60%以上,其中生料粉磨占30%以上,煤磨占约3%,水泥粉磨约占40% 为各类工业场景提供 2D、2.5D、3D 多种清晰美观的可视化服务模式。工厂的智能化变革,大部分运用了先进的自动化生产设备,最显著的特征是能保证产品的一致性得到提升,不会受到因人工操作而产生的误差。

    44910编辑于 2022-06-16
  • 垂直堆叠3D芯片突破AI瓶颈

    研究人员创造了一种新型的3D计算机芯片,该芯片将存储和计算元件垂直堆叠,极大地加快了芯片内部的数据移动速度。与传统平面设计不同,这种方法避免了制约当前AI硬件的“交通拥堵”问题。 在硬件测试和模拟中,这款3D芯片的性能比2D芯片高出一个数量级。研究人员之前在学术实验室中制造过实验性3D芯片,但该团队表示,这是第一次在商业代工厂中生产出性能明显提升的芯片。 单片式3D芯片的制造方式许多早期的3D芯片尝试采用了一种更简单的方法,即堆叠独立的芯片。这可能有所帮助,但层与层之间的连接通常比较粗糙、数量有限,并且可能成为新的瓶颈。该团队采用了不同的方法。 这种方法被称为“单片式”3D集成,其使用的温度足够低,不会损坏已构建好的下层电路。这使得可以更紧密地堆叠层,并在它们之间创建更密集的连接。 通过证明单片式3D芯片可以在美国制造,他们认为这为本土硬件创新的新时期提供了一个蓝图,在这个新时期,最先进的芯片可以在美国本土设计和制造。

    41210编辑于 2026-03-26
  • 来自专栏软硬件融合

    网络系列文章(二):从云计算到网络

    编者按 网络,对行业来说,是“整合”还是“分工”? 一直以来,我都认为网络是行业整合的过程,通过网络运营商把全国的资源统筹到一起,形成高效的统一供应。 而在网络时代,最主要做的是构建后台中心(从数据中心升级到中心)和前台服务运营解耦分工的新业务模式。 中心,专注于中心建设,专注于的最优性能和最低成本(包括建设成本和运营成本);同时,还要有非常广阔的销售渠道,确保的广泛销售,最大限度减少闲置资源。 ://www.amazonaws.cn/knowledge/what-is-computing-power-network/ 3 网络的发展 3.1 多样性和异构融合计算 在通用计算的时代,x86 3.3 生产和运营的解耦 在云计算时代,供应和运营是一体的,客户是需求方。像电商的平台、卖家、买家三方关系一样,网络时代,需要实现供应和运营的解耦: 供应商。

    2.3K12编辑于 2024-03-27
  • 来自专栏鲜枣课堂

    世界简史(中)

    接上集:世界简史(上) 在上一篇里,小枣君提到了ENIAC的诞生。 其实,在1945年-1948年,也就是我们中国还处于内战时期时,除了ENIAC诞生外,科技领域还发生了好几件大事。 它改变了计算机产业的商业模式,标志着不再仅为少数大型企业服务(大型机),而是开始昂首走向了普通家庭和中小企业。 技术蓄力 除了处理器之外,计算机存储设备和网络技术也有显著进步。 未完待续…… 敬请期待——《世界简史(下)》 参考文献: 1、《计算机的发展历史汇总》,网络; 2、《发展简史》, 庐山真容; 3、《世界上第一台个人电脑是哪台?》

    85720编辑于 2023-08-21
  • 来自专栏大语言模型,算力共享

    服务标识封装

    为了解决这一问题,服务标识封装技术应运而生,旨在实现服务与IP层的解耦,提升服务的灵活性和可扩展性。 封装机制 Overlay层引入:在IP与L4传输层之间引入一个overlay层,如SFC(服务功能链)架构下的网络业务报文头(NSH)或三层网络虚拟化overlay(NVO3)的Geneve等。 这个overlay层用于封装服务标识,使得服务可以在不改变现有IP网络架构的情况下独立部署和管理。 服务标识:在overlay层中封装的服务标识是区分不同服务的唯一标识。 IP层解耦:通过服务标识封装,服务的路由和管理不再依赖于IP层。这意味着网络中间转发节点在转发数据时,无需识别服务标识,仅做普通路由转发即可。 NVO3(三层网络虚拟化overlay):使用如Geneve等封装协议在IP网络上构建虚拟的三层网络。

    60420编辑于 2024-07-28
  • 来自专栏鲜枣课堂

    世界简史(下)

    埃里克·施密特 云计算的本质,是把零散的物理算资源变成灵活的虚拟资源,配合分布式架构,提供理论上无限的服务。 趋势 2010年至今,发展出现两个显著趋势。 一,泛在化。 3G/4G/5G移动通信以及光纤宽带的发展,构建了强大的网络,给的“移动”创造了条件。 如今,不再只待在云端,而是可以下沉到边缘,产生了“云计算-边(边缘计算)-端计算”三层架构。 各个行业对有着不同的需求。于是,逐渐开始细分,分为通用、超算算、智能。 不同的需求,也使得芯片产生了不同的形态。 除了传统的CPU和GPU之外,NPU、DPU等单元开始出现,并成为大众关注的焦点。 在高性能计算上,集群成为超和智的新宠。 我们对的需求,还在疯狂增长。 在摩尔定律逐渐走向瓶颈的前提下,我们该如何实现的倍增?以量子计算为代表的新型,是否会全面崛起? 就让时间来告诉我们答案吧! —— 全文完 ——

    85220编辑于 2023-08-21
  • 来自专栏软硬件融合

    芯片,如何突围?

    作为常年从事计算机芯片相关工作的我,今天就从芯片这个视角出发,谈谈对国内芯片如何实现突围的个人的一些看法。 3 AGI大模型的挑战 2023年初的AI大模型,“不约而同”的参数规模停留在千亿级,为什么? 核心的原因在于,这是目前的GPU计算集群所能支撑的上限: 一方面,单芯片已经瓶颈,增长极度缓慢。 从2D的工艺到3D的封装再到Chiplet的4D封装,芯片的底层实现技术仍在快速发展。 目前的大芯片,通常在500亿晶体管左右。Intel的规划是在2030年,达到1万亿晶体管。 可以在工艺落后1-2代的情况下,实现单个芯片的更优。 方法二,网络。通过网络、东数西,实现跨集群的调度和协同,可以实现资源的高效利用。 方法三,智能网联。

    88020编辑于 2023-11-16
  • 来自专栏SDNLAB

    “东数西”培育壮大经济

    数据、能源等协同联动,推动大数据中心建设与碳达碳中和改造有效结合。 “东数西”将为我国建设一张大网,又可成为网络。 我国对网络早有布局。 并且,根据《中国发展指数白皮书》发布的数据显示,中国资源中每投入1元带来的经济收益是3-4元。 ,包括《中国联通网络白皮书2019》、《感知网络技术白皮书2019》、《中国通信学会网络前言报告2020》、《多样性技术愿景白皮书2021》、《中国发展指数白皮书2021》、《中国移动网络白皮书 ,整个市场的技术创新和卡脖子技术的沉淀相对薄弱;然后,虽然我国在网络标准规范方面已有初步布局,形成了网络5.0产业联盟网络特设工作组;CCSA TC621 网推进组;ITU 网络标准等,但是在具体方向上仍有许多空白

    1.8K30编辑于 2022-04-29
  • 来自专栏Python项目实战

    云端调度算法研究:不是不够,是你不会“分”

    云端调度算法研究:不是不够,是你不会“分”大家好,我是Echo_Wish。今天想跟你聊一个看起来很高大上、但本质特别接地气的话题——云端调度算法。 二、云端调度,调的到底是什么?别被“”这两个字骗了,它不只是CPU。 3️⃣FairScheduler(公平调度):大家都别太委屈这是Hadoop/YARN时代的老朋友。核心思想:每个人分到的,尽量差不多。哪怕你任务多,也不能一直霸占。 2️⃣冷启动与预热容器拉镜像GPU初始化JVM启动很多时候:不是没,是“没热身”。3️⃣异构调度现在的云,不只有CPU:GPUNPUFPGA调度策略必须知道:“这活,谁干最合适。” 3️⃣真正的难点,是“人”业务不愿意让资源团队不愿意被限制老系统权限过大调度,最终是组织问题。

    35810编辑于 2025-12-30
  • 来自专栏星融元

    深度剖析:智网络及网融合

    不仅提升了计算能力,还为各行各业带来了智慧的变革,成为推动科技进步的重要引擎。网络的概念网络是实现泛在的手段。 与网络在形态和协议方面深度融合,推动和网络由网随动到融为一体,最终打破网络和基础设施的边界。网络从支持连接,演进为感知、承载,实现网在中、算在网中。 网络根据业务需求,按需进行网络编程,灵活调度泛在的资源,协同全网的和网络资源,实现路由。 网络和网融合为智提供了强大的技术支撑,而智的发展推动了网融合和网络的进步,他们三者是相互促进的关系。智时代如何打造网络在智时代下,如何打造网络,做到网融合呢? 网络的特点灵活敏捷:根据业务需求,网络需要具备敏捷接入的能力来快速获取,并灵活动态地在云、边、端之间按需分配和灵活调度资源,进而实现资源的最大化利用,并应对各种突发情况。

    2.5K11编辑于 2024-08-30
领券