去年,Meta发布了Brain2Qwerty第一代,这是一项用AI解码大脑活动、并且全程不需要做任何外科手术植入的研究。现在,Meta带来了它的下一步进展,Brain2Qwerty v2。
Meta把它形容为目前性能最强的端到端方案,能够基于非侵入式脑部记录,实现实时的句子级解码,准确率正在逼近过去只有依靠开颅手术才能达到的水平。
为了推动神经科学领域的研究进展,Meta这次把Brain2Qwerty v1和v2的完整训练代码都开源了。合作方巴斯克认知、大脑与语言研究中心(BCBL)也同步公开了v1版本所使用的数据集。
Meta表示,这项研究的目标是帮助全球数以百万计因脑损伤而无法正常交流的患者。此前,立体定向脑电图和皮层脑电图等侵入式技术已经证明,把神经假体采集到的信号交给AI解码器处理,可以帮助患者恢复交流能力,但这类方案手术门槛高,很难大规模推广。Meta希望用非侵入式的方法,弥补这中间的差距。
怎么训练出来的
Brain2Qwerty v2的训练数据来自9名志愿者,每人佩戴脑磁图设备进行了10个小时的真实打字记录,累计收集了约22000条句子。
和以往依靠人工设计规则去识别神经事件的传统流程不同,这次Meta直接采用端到端深度学习,让模型从原始脑信号中直接学习解码。
具体做法上,团队对大语言模型进行了针对神经数据的微调,让模型能够利用语义上下文信息,把原本嘈杂、模糊的脑部记录,和连贯通顺的语言衔接起来。
在优化解码流程的过程中,Meta还用上了AI agent来探索可能的优化方向,不过最终采用的训练配置,还是由工程师人工挑选确定的。
准确率提升明显
结果显示,Brain2Qwerty v2能够从嘈杂的神经信号中较为连贯地还原出句子,整体单词准确率达到61%,相比此前其他非侵入式方法仅有8%的准确率,有了大幅提升。
在表现最好的那名参与者身上,单词准确率达到78%,超过一半的句子解码后只有一个词出现错误,甚至完全正确。
Meta还发现,解码准确率会随着数据量的增加呈对数线性增长,这意味着只要持续扩大数据规模,和侵入式手术方案之间剩下的性能差距,有可能继续被缩小。
不只是一个模型
Brain2Qwerty v2是Meta构建开放式大脑基础模型计划的一部分。在这个计划里,Meta同时在推进负责感知编码的Tribev2模型、用于大规模处理脑数据的NeuralSet,以及用于系统评估各类模型表现的NeuralBench。
为了配合这些工作,Meta设立了500万美元的资金,专门用于支持开放数据集建设,这也是Meta数字大脑计划的一部分。
/...@作者:你说的完全正确(YAR师)