首页
学习
活动
专区
圈层
工具
发布

老黄RTX Spark真机现身Bilibili World!CPU和GPU直接…

近期,英伟达RTX Spark真机亮相Bilibili World活动,这项技术的核心创新是将CPU与GPU通过先进封装工艺直接焊接集成在同一基板上,打破了传统消费级端侧设备的算力瓶颈,成功实现了在单台笔记本本地运行120B参数大模型,无需全程依赖云端算力回传,验证了高集成GPU方案下沉端侧的可行性。

当前AI大模型落地正从云端集中部署走向云边端协同供给,此前千亿参数大模型推理必须依赖数据中心级GPU服务器集群,端侧设备受限于算力和显存无法承载。英伟达推出该方案,本质是顺着AI算力下沉的行业趋势布局,巩固其全场景AI算力市场的主导地位,也印证了高集成AI芯片是行业核心发展方向。

RTX Spark的技术方向将对算力市场产生结构性影响,一方面端侧将分流超15%的轻量大模型推理需求,预计未来数年端侧大算力GPU出货量年复合增长率将突破40%;另一方面也将倒逼数据中心升级更高密度的集成GPU服务器,拉动智算中心硬件更新需求。

诚高科技认为,该产品亮相印证了AI算力分层供给的行业趋势,诚高已布局覆盖高端GPU服务器租赁、端侧算力方案对接的全链条服务,可匹配不同客户的算力需求,助力客户把握AI算力下沉的市场机遇。

AI算力正在从云端集中向云边端协同分布演进,GPU集成化创新将持续推动算力基础设施分层升级。诚高科技将紧跟硬件技术动向,为客户提供灵活适配的算力服务。

  • 发表于:
  • 原文链接https://page.om.qq.com/page/OD450M_7pqhuVWZ8sh6bnejQ0
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

相关快讯

领券