首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏腾讯专有云

    直播预告:TCS异构管理与成本优化

    7月1日15:00-15:50,研修营第三期课程《国产适配:异构管理与成本优化》强势来袭。 课程亮点: ✅ 智能调度,适配工业复杂需求 ✅ 国产适配,突破采购限制,缩短部署周期 该课程基于云原生AI架构,全面覆盖资源整合、智能调度策略、国产芯片适配全流程,以统一管理平台、标准化适配框架 、场景化调度算法为核心,为企业打造“高可用、低损耗、快部署”的异构解决方案,助力企业“资源粗放管理”迈向“精细化成本控制”,深度破解异构适配及成本优化难题。 这个夏天,让您的企业告别“瓶颈”,用云原生AI驱动国产化、调度智能化,让知识产生价值,让智能触手可及!

    11900编辑于 2025-06-28
  • AI芯片的终局——即权力:一场由成本决定的竞赛!

    训练一个前沿的AI算法可能需要耗时数月,成本高达数千万甚至数亿美元。这种巨大的需求,催生了专门为此优化的计算机硬件——AI芯片。 人们可能直觉地认为,既然AI计算可以并行,为什么不能用大量廉价的旧芯片(如28nm或40nm节点)来堆叠呢?文件的成本模型给出了否定的答案,其关键在于区分了生产成本和运营成本。 生产成本 (Production Cost):先进节点(如5nm)的生产成本(包括设计、代工、封装测试)极其高昂。模型估算,在500万片销量下,每片5nm芯片的总生产成本约为426美元。 结论:即权力文件的分析逻辑严密且具有前瞻性。 在AI时代,(Compute)不仅是技术问题,更是经济问题和安全问题。对先进供应链的控制,在很大程度上等同于对未来AI发展制高点的控制。

    79810编辑于 2025-11-06
  • 大模型时代的成本管控:GPT-5.5 成本效能拆解与多模型编排优化路径

    摘要: 在 AI 应用规模化落地的今天,成本管控已成为企业技术决策的核心。GPT-5.5 及其 Image 2.0 的发布,不仅刷新了性能高度,也重塑了企业的成本效益比(ROI)。 这种“隐形”的 Token 节约,直接将单项业务的平均支出压缩了约 30%。2. Image 2.0 的生产效率分析Image 2.0 引入的属性解耦技术,为视觉生产带来了显著的降本空间。 架构优化:多模型编排与聚合调度在 2026 年的 AI 架构设计中,成熟的企业不再依赖单一接口,而是通过多模型编排来平摊风险与成本利用率(MFU)与推理损耗的量化观察GPT-5.5 引入了动态 Token 压缩算法,尤其是在处理高分辨率(4K 级别)图像理解任务时。 5. 结论:从技术领先转向效率领先AI 的竞争下半场,比拼的是谁能以更低的成本、更稳的链路产出更高质量的结果。

    30210编辑于 2026-04-30
  • TencentOS 加速框架破解AI效率与成本难题

    AI资源高消耗与低利用率并存 当前AI基础设施面临核心矛盾:GPU资源稀缺且采购成本高昂,同时存在显著的潮汐效应,导致资源闲置与浪费。 以100台H100服务器为例,CPU平均利用率仅为15%,估算年浪费成本高达2600万元。 三大核心技术实现资源极致优化 TencentOS通过操作系统底层技术创新,提供系统性解决方案。 GPU资源精细切分(qGPU):支持多个容器共享单张GPU卡,实现与显存的精细隔离和灵活配置。该技术在驱动层实现虚拟化,实现近零性能损耗,并保持业务无感知、无需重编代码的兼容性。 内存压缩卸载降低硬件成本:通过自研“悟净”内存多级卸载技术,进行内存冷热感知与动态压缩。服务器硬件采购成本中内存占比高,此技术能在保障业务性能的前提下,显著提高内存资源利用率。 荣耀手机AI助手YOYO场景:在多模态理解场景下,使用TACO-X优化Qwen2.5-VL-7B模型,实现吞吐量提升50%,同时优化了峰值显存占用。

    17810编辑于 2026-06-01
  • 腾讯云HAI:5分钟构建专属AIGC应用,降低与运维成本

    智能资源匹配:无需关心硬件选型与可用区配置,系统根据应用自动匹配最佳资源(如T4/V100级别GPU)及配套存储网络。 第三章:核心业务指标与量化价值 HAI通过技术手段直接优化开发效率与运维成本,具体量化指标如下: 环境交付速度:利用云上快照技术加速镜像拉取,两分钟内完成AIGC环境交付,相比传统容器镜像拉取(动辄20GB 成本优化: T4级别GPU低至1.2元/小时,V100级别GPU为3.6元/小时。 关机不计费策略:关机期间与网络不计费,系统盘80G免费保留15天,大幅降低非长期依赖业务的Ops Cost。 产业生态:美团、快手、小红书、百川智能、知乎、搜狗、微众银行 等企业均已接入腾讯云智能服务,覆盖电商、社交、金融等多个领域。

    22200编辑于 2026-05-31
  • 来自专栏存内计算加速大模型

    架构优化:为大模型提升铺平道路

    然而,大模型的高效运行离不开强大的支持,而存架构的优化则是提升的关键所在。本文将探讨现有大模型对的需求以及RRAM架构优化如何为大模型的提升提供动力,为开发者提供一些实用的指导。 据信通院测算,1EFlops 约为 5 台天河 2A 超级计算机,或者 25 万台主流双路服务器,或者 200 万台主流笔记本的输出。 )为 313EFlops3,智能规模(换算为 FP32)为 107EFlops4,超算算规模(换算为 FP32)为 9EFlops5。 2.2、存内计算技术的潜力为了应对大模型对的巨大需求,存内计算技术提供了一种潜在的解决方案。存内计算技术的基本思想是将数据计算移动到存储器中,实现原位计算,消除带宽限制和数据传输成本6。 基于RRAM的CIM架构通过一系列创新的优化策略,为大模型的加速提供了有效的解决方案。这些优化不仅提高了模型的运行效率,还降低了能耗和硬件成本

    1.3K10编辑于 2024-05-14
  • 东数西加码智能:全国一体化网,5 毫秒接入覆盖

    例如内蒙古枢纽节点算规模达16.5万P,其中智资源占比超93%,稳居全国第一,通过高速算通道实现对京津冀的5毫秒时延覆盖,为东部AI企业提供低成本、高稳定的支撑。 当东部开发者发起AI推理任务时,系统能自动选择最近的边缘节点实现5毫秒响应;而模型训练等重需求则被调度至西部智中心,借助绿色能源降低成本。 以往需要部署本地集群的企业,如今可直接调用全国一体化网的智能资源,通过5毫秒级接入实现实时推理,大幅降低研发成本。 工业互联网场景中,5毫秒时延为实时控制提供了力保障。开发者可基于网构建数字孪生系统,通过边缘节点实时处理工业设备数据,实现设备预测性维护、生产流程优化。 未来,服务将向标准化、平台化方向发展。开发者可依托网开放平台,参与服务接口标准化建设、跨域调度算法优化等工作,共建生态。

    76910编辑于 2026-01-04
  • 来自专栏星融元

    边缘机房如何低成本地提高单位空间的

    随着物联网、智能驾驶等业务的兴起,边缘网络需求愈发明晰,运营商及云服务商纷纷将工作负载及服务从核心迁移到边缘,比如部署5G UPF、5G MEC及边缘网关VNF等。 与此同时,边缘数据中心受限于空间、能耗等限制,无法进行大规模的扩展,只能承载有限的计算业务,阻碍了业务应用规模。 并结合网卡的硬件加速引擎进行业务加速(例如深度解析业务报文,对音视频、网页数据进行流分类),提高单位体积的处理性能,在有限的机架空间内低成本地灵活扩展。 图片图片电源管理更方便节省机架空间降低功耗并且,多块DPU网卡存储的数据可通过PCIe共享到同一台服务器,以标准服务器+DPU的 “资源池" 形式接受云管平台纳管,实现"从云到边"的资源统一管理和分配 目前厂商已将软件和场景开源,开源地址: https://github.com/asterfusion/Helium_DPU图片图片Helium的典型应用场景:OVS卸载+第三方应用图片释放:多核ARM

    36700编辑于 2023-08-01
  • 来自专栏云服务业务

    腾讯云代理商:腾讯云 AI 成本全解析 从技术原理到价格优化策略

    近期腾讯云官方也宣布AI全面涨价,本文将深入解析腾讯云 AI 的技术原理和成本构成,帮助您更好地理解 AI 定价逻辑,并找到成本优化方案。 训练芯片· H100:最新一代 AI 加速卡· 国产化:如华为昇腾等替代方案二、腾讯云 AI 成本构成分析2.1 硬件成本(约占总成本 40-50%)· GPU 采购成本:高端 AI 芯片价格昂贵 5-10%)· 数据中心互联· 公网带宽· 内网传输三、腾讯云 AI 产品线解析3.1 GPU 计算实例系列· GN 系列:通用 GPU 计算实例· GI 系列:图形渲染型 GPU 实例· GT 系列 网络配置:带宽大小和类型四、技术优化降低 AI 成本的实用策略4.1 选择合适的实例规格· 训练阶段:使用高性能 GPU 实例加速训练· 推理阶段:使用成本更优的实例或专用推理芯片· 混合使用:结合竞价实例和预留实例 技术团队全程支持结语:AI 成本确实不低,但通过技术优化和官方授权代理商支持,完全可以将成本控制在合理范围内。理解 AI 的技术原理和成本构成,是制定有效成本控制策略的第一步。

    82620编辑于 2026-05-07
  • 来自专栏产品经理的人工智能学习库

    – computation

    文章目录 人工智能里的是什么? 在普通电脑中,CPU就提供了帮助电脑快速运行。玩游戏的时候需要显卡提供,帮助电脑快速处理图形。 而在 人工智能中,需要有类似CPU和GPU的硬件来提供,帮助算法快速运算出结果。 之前在算法里讲过,在制造木桌的过程中,工厂的流水线就是算法。 在那个例子中,工厂中的机器就像,机器越好越先进,制造的过程就越快。 ? 越大,速度越快 维基百科版本 Techpedia版本 是使用计算机技术完成给定目标导向任务的过程。 可以包括软件和硬件系统的设计和开发,用于广泛的目的 – 通常构建,处理和管理任何类型的信息 – 以帮助追求科学研究,制作智能系统,以及创建和使用不同的媒体娱乐和交流。 查看详情 维基百科版本 是使用计算机的任何活动。它包括开发硬件 和软件,以及使用计算机来管理和处理信息,进行交流和娱乐。是现代工业技术的一个至关重要的组成部分。

    2.7K30发布于 2019-12-18
  • 来自专栏大语言模型,算力共享

    共享:环形结构的分配策略

    ​目录共享:环形结构的分配策略方法签名方法实现注意事项nodes.sort(key=lambda x: (x[1].memory, x[0]), reverse=True)end = round (start + (node[1].memory / total_memory), 5)共享:环形结构的分配策略这段代码定义了一个名为RingMemoryWeightedPartitioningStrategy 这里使用round函数将结果保留到小数点后5位,以避免浮点数精度问题。 end = round(start + (node[1].memory / total_memory), 5)在这行代码中,end 变量被计算为当前分区应该结束的相对位置,这个位置是基于整个资源池(在这个上下文中是内存 round(..., 5):最后,使用 round 函数将计算结果四舍五入到小数点后五位。这是为了处理浮点数运算中可能出现的精度问题,并确保分区的结束位置是一个相对精确的值。

    1.3K20编辑于 2024-07-26
  • 异构统一管理:TCS平台实现GPU资源利用率提升与成本优化

    随着国产加速芯片(NPU等)的加入,企业基础设施面临以下核心挑战: 资源孤岛: 英伟达与国产集群分散,缺乏全局资源视图,导致资源利用率低下。 构建一云多芯的异构底座 主讲人:吴伟(腾讯专有云PaaS平台Tencent TCS) Tencent TCS通过云原生应用声明式部署规范(TAD),标准化接入接口,实现对CPU、GPU、NPU等多种异构资源的统一管理 内核态虚拟化(qGPU): 实现GPU和显存的精细隔离与灵活配置。 FinOps成本中心: 基于腾讯开源项目Crane开发,提供资源可视化与智能调度优化。 量化指标验证资源效能提升 通过TCS平台的调度优化与资源共享技术,在资源利用率与推理性能上实现了具体的量化提升: 资源粒度控制: 支持以5%、1G显存的粒度进行GPU共享资源分配,透明无感。 开源影响: FinOps成本中心基于Crane项目,为CNCF Landscape项目及FinOps基金会认证方案,获CSDN《2022年度开源影响项目奖》。

    38700编辑于 2026-05-29
  • 来自专栏科技云报道

    之后,“存”上位

    芯片的摩尔定律逐渐逼近物理极限,存开始从幕后走向台前,成为AI领域下一个关键赛点。 长期以来,伴随企业数字化转型所建设的“烟囱式”AI基础设施各自为战,数据奔流,价值却困于“堰塞湖”。 AI时代存储市场的 三座大山 随着AI技术持续突破,构筑更高效、更可靠的AI存底座成为大势所趋。当前,存储市场正在经历三个全新变化,主要聚焦在效率和成本方面。 第三,长序列推理时,计算复杂度随序列长度而增长,内存占用与消耗激增,推理速度与成本间形成“效率低、成本高”的剪刀差,如何降低大模型推理成本、提升推理效率,将影响大模型的行业应用进程。 构建AI时代新型 “数据粮仓” 与聚焦在“”不同,数据存聚焦在“数”和“存”,是数据生产要素处理的综合能力体现,肩负着为数字经济各种场景提供源源不断的“生产资料”的使命。 将目光投向更长远,新型AI存储很可能是撬动人工智能时代杠杆的另一个支点,“以存强”“以数助”亦是弯道超车的重要落点。当AI产业具备扎实的存底座,才能登高远眺,看见AI时代最美的风景。

    55600编辑于 2025-06-19
  • 来自专栏边缘计算

    5G边缘计算与网络(PPT)

    在日前召开的“GSMA Thrive·万物生晖——新基建和企业数字化论坛”上,中国联通网络技术研究院首席科学家唐雄燕博士做了《5G边缘计算与网络》的演讲。 “在5G发展中,边缘计算是非常能体现5G网络特色的重要方向。”唐雄燕指出,5G呼唤边缘计算主要在于业务低时延、大带宽和数据本地化三大动因。 随着人工智能的发展和从云走向边缘和终端,整个融入网络的汪洋大海之中,计算和网络将深度融合,云边端将全面协同,应用部署匹配计算,网络转发感知计算,网络发展将迈向智能网络的新阶段,开启云网融合

    2.5K20发布于 2020-07-14
  • 来自专栏ToB行业头条

    每年节省80%成本,中小企业迎来“自由”

    在这种情况下,“租赁”开始变成今天企业破局AI成本投入问题的“版本答案”。 来源丨ToB行业头条 作者丨栗子 · 编辑丨瑞雪 01 是什么在阻碍AI普及? 前文提到的实在智能,与易点云合作长达5年,就是中小企业低成本获取AI的典型范式。 通过专业的设备租赁服务,企业不仅能够有效控制成本优化现金流,还能获得可靠的技术支持,从而更专注于自身核心竞争的构建。 它打破了传统采购模式下的资金壁垒和技术门槛,让企业能够以更低的成本、更小的风险、更高的灵活性,获得部署和运行AI应用所需的强大支撑。 当一家企业的管理者能够意识到AI会给自身带来机会,并且选择包括租赁的方式来抓住机会时,我们很难认为他不会成功。因为他就是在选择用最低成本实现价值的最大化。

    98700编辑于 2025-06-20
  • 来自专栏安徽开发者圈

    AI成本要被颠覆?10人公司说token砍99倍

    他们选择Engram,说明token成本问题已经切切实实地痛到了。企业AI支出正在失控。Forbes同日发布的调查显示,1/5的企业员工每周因AI工具的低效使用损失整整一个工作日。 在这种背景下,一个能削减99%推理成本的方案,吸引力不言而喻。竞赛的逻辑要变了?过去几年,AI行业的底层逻辑是大力出奇迹:更多GPU、更大模型、更长上下文。 SpaceX刚花63亿美元给Reflection租,自己又发债200亿搞数据中心。但Engram的出现提出了另一个可能性:与其堆,不如让模型更好地记住和复用。 如果100倍的token节约能够兑现并规模化,整个行业的需求模型可能需要重写。这不是说GPU不再重要,而是"暴力堆"可能不再是唯一的答案。 但有一点越来越清楚:的未来,不只在于更多,更在于更聪明地使用。Engram的9800万美元融资,买的不是一家公司,而是对整个行业成本结构的一次重新想象。

    26931编辑于 2026-06-24
  • EMR on TKE 容器化部署详解:错峰复用降低资源成本

    摘要: EMR on TKE 支持在容器服务 TKE 上部署开源大数据组件,实现容器化运行,支持错峰复用,降低资源成本,适用于需要灵活调度资源的场景。 错峰复用:支持在离线混合部署,错峰复用,降低资源成本。 运维简便:减少对于底层资源的运维关注。 通过在离线混合部署,可以在白天优先保障在线业务的资源需求,在晚上优先保障离线业务的资源需求,从而错峰复用,降低资源成本。 5.2 成本优化建议 为了降低 EMR on TKE 的使用成本,可以考虑以下建议: 错峰复用:通过错峰调度,提高资源利用率,降低资源成本。 选择合适的计费模式:根据业务特点选择合适的计费模式。 优化资源配置:根据业务需求优化资源配置,避免资源浪费。 使用存分离架构:通过存分离架构,降低存储成本。 监控资源使用:定期监控资源使用情况,及时调整资源配置。

    3500编辑于 2026-07-07
  • 来自专栏大模型应用

    大模型应用:分层治理:基于大模型四层匹配体系的优化方案.72

    实时生成场景(如大模型对话、AI 文案生成):对响应速度要求高,通常<1 秒,对的单卡推理效率要求高,适合使用中等规模集群,采用低延迟推理优化,如模型量化、剪枝、KV Cache 优化,避免使用大规模集群 批量推理场景(如 AI 数据标注、文档批量总结):对吞吐量要求高,通常>1000条/分钟,对响应速度要求低,适合使用大规模集群,采用高吞吐量推理优化,如批量增大、数据并行,实现资源的高效利用。 模型微调场景(如行业大模型微调):对计算算和访存都有较高要求,适合使用中等规模集群,采用微调专用优化,如 LoRA 技术,减少参数更新量,降低需求,实现业务需求与规模的精准匹配。 第四步:监控优化(闭环迭代)部署监控工具(如 Prometheus + Grafana),实时监控三层的利用率、四层匹配的效率;针对出现的瓶颈(如通信开销过大、显存利用率过低)进行迭代优化,形成 我们首先可以从基础匹配入手,先搞定计算精度适配、显存带宽优化这些低成本动作,用代码验证效果后再进阶多卡协同;再就是是绑定业务场景优化,不同场景对需求差异极大,实时推理重低延迟,批量训练重吞吐量,针对性匹配才能让价值最大化

    40543编辑于 2026-04-10
  • 来自专栏ADAS性能优化

    生存VS

    英國「金融時報」報導,鑒於美國近期祭出制裁來壓制中國電腦運能力,中國科技企業阿里巴巴和壁仞科技為了避免受制裁,正將各自最先進晶片的設計微調,以降低運處理速度。 華府10月宣布的制裁措施,禁止任何運能力超過一定門檻的半導體產品出貨至中國除非得到许可。這打亂了上述中國科技企業的發展計畫。 但中國工程師表示,要判斷哪些晶片產品不受制裁並不簡單,因為華府對於如何計這個速率沒有清楚規範。 根據研究集團伯恩斯坦(Bernstein)計,從壁仞官方網站存檔紀錄來看,在美國宣布制裁之前,壁仞首款處理器BR100的規格算出傳輸率是640 GB/s,超過限制門檻;但根據壁仞官網目前發布的BR100 而聽取過阿里巴巴半導體子公司平頭哥相關簡報的人士也透露,平頭哥正在研究如何修改它專為AI工作所設計的最新5奈米製程處理器,且目前考慮的修改方案須交由台積電再進行一次生產測試,意味時程將延遲數個月,且可能多出額外

    1.4K20编辑于 2022-12-20
  • 税务大模型私有化部署与知识引擎RAG方案:底座、成本优化与合规落地

    高频调用成本压力: 在客服系统每日处理百万级回答的高频场景下,公有云按次付费模式的边际成本显著高于私有化部署。 与部署模式 私有化首选: 提供私有化部署,通过数据物理隔离+业务深度集成,满足政府、金融等高价值场景刚需。 方案对比: 维度 私有化部署 公有云方案 业务场景 数据私密性要求高 个税申报等对公场景、利用行业公开数据快速落地 资源需求 私有化 租用公有云 成本比较 初期投入较高 多种计费模式,灵活多样 建设时效 第三章:量化效能与业务指标 通过技术架构的优化,方案在文档处理、检索准确率及成本效益上实现具体量化提升: 文档处理效能: 文档支持: 支持26类以上文档类型,突破图文混排版面分析、复杂表格识别技术瓶颈。 端到端安全合规: 依托 天御 系统,提供业界首款端侧轻量级隐私解决方案,覆盖模型训练、内容生成到后期优化的全流程,确保符合税务行业严苛的合规要求。

    33510编辑于 2026-05-30
领券