首页
学习
活动
专区
圈层
工具
发布

技嘉AI TOP ATOM搭配AMaaS:本地AI一步到位

技嘉与趋境科技最近完成了一项针对本地大模型部署的联合调试,双方将趋境科技自研的AMaaS平台直接部署在技嘉AITOPATOM上。对关注本地化AI落地的开发者或企业来说,这件事的意义在于:原来搭建一套能跑通大模型训练和推理的本地环境,往往要自己拼硬件、调驱动、配环境,现在这套组合直接给出了一个完整的硬件+管理端方案。

AITOP ATOM的核心是那颗NVIDIAGB10 GraceBlackwell芯片,它采用CPU+GPU一体封装,本地AI算力达到1千万亿次/秒,128GB的统一内存使它在处理大模型推理或微调时,不会频繁出现显存不足导致的任务中断。对于日常需要跑7B到70B级别模型训练、推理或部署的个人开发者和企业技术团队,这个规格在桌面级设备里也属于当前可触及的高配方案。

趋境科技的AMaaS平台则本身就是为大模型基础设施与管理设计的,在模型管理、图形化操作和资源调度这几个关键环节比较成熟。这次联合部署完成之后,用户拿到AITOPATOM时,AMaaS平台已经是可调用的状态,省去了自己去配环境、做底层兼容的步骤。从实际操作角度来讲,这意味着从开箱到开始跑模型,中间的时间成本和试错成本被大幅压缩。

趋境科技副总裁关嘉伟提到,双方这次合作本质上是在降低本地大模型部署的进入门槛。过去部署本地大模型,运维负担往往比算力成本更难解决,尤其是涉及到多模型管理、资源分配和用户权限这类日常操作时,很多团队不得不专门配备运维人员。AMaaS在图形化操作和资源调度方面的能力,配合AITOP ATOM的本地算力,等于把模型部署这件事从“需要系统层调试”变成了“通过管理界面就能操作”。

对于游戏开发团队、Mod制作群体或者从事AI相关内容创作的独立开发者来说,这种硬件+平台一体化的方案有一个实际价值:在本地完成模型训练和推理,数据不出本地,同时又能享受到比较完整的管理工具支持。比如在游戏开发流程中,用本地大模型做NPC对话生成、剧情分支推演或美术资源的本地推理,对算力的持续性和延迟都有要求,AITOP ATOM的128GB统一内存在处理这类任务时,可以同时承载模型加载和推理缓存,避免频繁与外存交换数据导致的延迟波动。

从技术细节上看,GB10芯片的一体封装设计带来的一个直接好处是CPU与GPU之间的数据路径更短,在大规模参数加载和推理任务中,通信开销被有效控制。这对于需要反复迭代的训练任务或者对响应时间敏感的推理场景比较关键。AMaaS平台在此基础上承担的是资源调度和模型版本管理的角色,当用户需要同时维护多个模型时,图形化管理界面能直观地分配算力资源,监控运行状态,减少命令行操作的复杂度。

技嘉这次与趋境科技的联合部署,实际上也是在补全从“硬件具备算力”到“用户真正能用起来”之间的环节。很多本地AI设备的问题不在于算力不够,而在于部署链路太长、管理工具缺失,导致硬件性能释放不出来。AITOPATOM本身具备桌面级本地AI算力,加上AMaaS平台后,模型训练、推理、部署、管理这几个环节被打通,对于不想在环境配置上花费过多精力的企业IT部门和独立开发者来说,意味着可以直接进入到模型调优和应用开发阶段。

未来技嘉在AI方向的推进重点集中在本地化部署、易用性体验和软硬协同这几个维度,与趋境科技在AMaaS平台上的合作属于其中一个具体的落地节点。对于正在评估本地AI基础设施选型的团队来说,现在这个时间点,一套开箱即用、算力和管理都已就绪的方案,相比从零搭建环境,在项目周期和资源投入上的优势是比较明确的。

  • 发表于:
  • 原文链接https://page.om.qq.com/page/OoJ1VLHt7a2TP2U7JgNaxjgw0
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

相关快讯

领券