首页
学习
活动
专区
圈层
工具
发布

Meta推出4款MTIA芯片,专注于高性能推理

Meta宣布了其自研Meta训练与推理加速器(MTIA)芯片的四代连续产品,均与博通(Broadcom)合作开发,并计划在未来两年内部署。Meta表示:"我们通过优先推进快速迭代开发,为MTIA制定了具有竞争力的战略,同时聚焦推理优先,并通过原生构建于行业标准之上实现无摩擦的广泛采用。"

该系列包括MTIA 300、400、450和500,MTIA 300已投入生产,用于排序和推荐模型的训练;400目前正在实验室测试,即将部署至数据中心。MTIA 450和500则面向AI推理,分别计划于2027年初和2027年下半年大规模部署。据Meta介绍,从MTIA 300到MTIA 500,HBM带宽提升4.5倍,计算FLOPs提升25倍。

与单纯追求峰值算力不同,Meta更强调内存吞吐量和推理效率。根据规格表,该系列的HBM带宽和容量大幅提升,而算力增长则更为线性。这意味着Meta的重点在于增加封装内带宽和容量,从而降低生产推理的延迟和功耗成本。

Meta的方法还包括对FlashAttention和混合专家前馈网络计算的硬件加速,以及专为推理协同设计的自定义低精度数据类型。MTIA 450支持MX4格式,其MX4 FLOPs是FP16/BF16的6倍,通过混合低精度计算避免了数据类型转换的软件开销。

在最终部署方面,MTIA 400、450和500都将采用相同的机箱、机架和网络基础设施,这意味着每一代新芯片都能直接嵌入现有物理架构,实现便捷互换。Meta表示,正是这种模块化设计支撑了MTIA约6个月一代的芯片发布节奏,远快于行业典型的一至两年周期。

软件栈原生运行于PyTorch、vLLM和Triton,支持torch.compile和torch.export,使得生产模型无需针对MTIA重写即可同时在GPU和MTIA上部署。Meta表示,已在其各应用中部署了数十万颗MTIA芯片,用于有机内容和广告的推理。

这一切发生在Meta披露与AMD达成长期1000亿美元AI基础设施协议仅两周之后,表明Meta正努力在AI技术栈的不同环节减少对英伟达的依赖,同时将MTIA置于推理工作负载的核心地位。

  • 发表于:
  • 原文链接https://page.om.qq.com/page/OxWoUwETD7T9q9sZGfkkHDeQ0
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

相关快讯

领券