智通财经APP获悉,7月27日,AI大模型初创公司月之暗面(Moonshot)正式开放其旗舰模型Kimi K3,供公众下载。Kimi K3拥有2.8万亿参数,并拥有有100万词元(token)上下文窗口,亦是全球首个开源的3万亿级别模型,面向长程编程、知识工作和推理等前沿智能场景而设计。
月之暗面指,在过去12个月中的9个月,Kimi模型保持着开源模型的规模上限。Kimi K3基于Kimi Delta Attention(KDA)和Attention Residuals(AttnRes)构建,这两项架构更新,是为了让讯息在更长序列和更深模型中流动得更顺畅。Kimi K3比K2整体扩展效率提升约2.5倍。
定价方面,每100万tokens输入价(缓存命中)为2元人民币(下同),输入价格(缓存未命中)为20元,输出价100元,上下文窗口约104.86万tokens。