单机训练200亿参数大模型：Cerebras打破新纪录

这家公司提供的芯片 Wafer Scale Engine-2（WSE2）顾名思义，蚀刻在单个台积电 7 nm 制程的整块晶圆上，该面积通常足以容纳数百个主流芯片——具有惊人的 2.6 万亿个晶体管、85 接近晶圆大小的 Wafer Scale Engine-2，面积比一个 iPad 还大。 Cerebras 的 CS-2 是一个独立的超级计算集群，其中包括 Wafer Scale Engine-2 芯片，所有相关的电源、内存和存储子系统。 200 亿的参数量大概是个什么水平？