这个方向看着挺有戏的。有个俄罗斯实验室在做跨LLM的潜状态通信,他们发现小模型可以从大模型那儿“借”推理能力,然后输出质量还挺高。
思路上是借了Anthropic的发现——他们之前说j-space里能看出模型内部其实有过推理,只是没说出来。
具体做法是:一个模型通过一个小训练好的“桥”把隐藏状态交给另一个模型,接收方直接拿去用。中间没有文本来回传,两边模型的权重也都没动,系统里唯一新加的东西就是那个桥。
标准实现里两个模型都是冻结的,所以其实没在训练,桥只是把潜空间连起来。
但他们后面聊的几个应用挺有意思,主要是蒸馏和训练。要是把小模型解冻,理论上它就能直接从大模型学潜空间表示,不用先转成文字再喂回训练里。小模型等于能直接“读”大模型的想法来学。