首页
学习
活动
专区
圈层
工具
发布

全国首个!依靠国产算力完成训练推理,万亿参数大模型发布

6月30日,美团正式发布新一代基础大模型LongCat-2.0。这是国内首个依靠国产算力完成训练、推理全流程的万亿参数大模型。

据悉,LongCat-2.0采用MoE(混合专家模型)架构,总参数规模1.6万亿,每个Token激活参数约480亿,原生支持1M超长上下文,可一次处理百万字级输入。

值得一提的是,LongCat-2.0全程在国产算力上完成训练,峰值规模超过5万张国产算力卡,是迄今为止国产算力上完成的最大训练任务。

同时,由于算力优化、技术突破等综合因素,LongCat-2.0的训练、推理成本消耗,低于全球其他万亿参数级别的大模型。

LongCat官方宣布,将于近期在多平台同步开源Infra框架、推理引擎、模型参数等核心技术,回馈全球开发者社区。

来源:科技日报

作者: 崔爽

  • 发表于:
  • 原文链接https://page.om.qq.com/page/Oa8zpArKNBvU_2vSKGdYTdkg0
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

相关快讯

领券