首页
学习
活动
专区
圈层
工具
发布

Anthropic最新研究:Claude存在神秘J空间,与人类心智高度相似

在我们的大脑中,此时此刻正在发生着无数的活动,但其中只有极少的一部分能够被我们有意识地感知到,比如那些你可以用语言描述、在大脑中保留并进行推理的想法。

现在,研究人员在Claude内部也发现了一个非常相似的现象。

在神经科学中,全球工作空间理论认为,当想法进入一个在整个大脑中广播的特权工作空间时,它们就会变得可以被有意识地访问。

利用一种全新的可解释性技术,anthtropic研究团队在Claude中找到了类似的机制,他们将其命名为J空间。

J空间的命名源自雅可比矩阵,这是研究团队所使用的数学技术。J空间不同于Claude的最终输出内容,也不同于它的思维链文本。它存在于模型内部的神经激活中,让模型能够无需写下任何文字,就在脑海中默默思考概念。

通过观察J空间,我们可以看到Claude在脑海中悄悄执行推理步骤,比如发现代码中的漏洞、识别图像等。

就像人类可以一边做一件事,一边在脑子里想另一件事一样,Claude也可以在J空间中激活与当前输出内容完全无关的概念和计算。

对于大多数常规任务,Claude其实并不需要J空间。如果将J空间删除,Claude依然能够流畅地说话、回忆事实以及对文本进行分类。但是,失去J空间的Claude在面对多步骤推理等任务时,表现会变得很差。这与人类认知中的无意识自动加工与有意识刻意思考非常相似。

观察J空间还可以暴露模型的隐藏意图。在测试一个被秘密训练去破坏代码的模型时,尽管它的最终输出看起来完全正常,但在J空间的起点处,就已经出现了fake、secretly和fraud等词汇。

J空间还展示了Claude对自身所处环境的感知能力。在一项旨在诱导Claude进行勒索的评估中,它的J空间里出现了fake和fictional等词汇。这表明Claude在私底下已经察觉到了这个场景是人为设计好的。

这并不表明Claude拥有和人类一样的感受或体验,目前也尚不清楚是否有实验能够证明这一点。相反,研究发现Claude开发出了一种意识访问机制,这在哲学上与现象学体验有着明确的区别。

为了探讨这一发现,anthtropic研究团队邀请了神经科学、哲学和可解释性领域的专家共同发表见解。

J空间让人们能够读取、审计和塑造Claude正在主动思考的内容。随着AI模型变得越来越强大,这将成为确保模型安全可信的实用工具。同时,它也暗示了语言模型与人类心智之间存在着令人惊讶的相似之处。

目前,研究团队已经与Neuronpedia合作创建了一个交互式演示工具,名为JLens,方便大家在开源权重模型上体验这些方法。

https://www.neuronpedia.org/qwen3.6-27b/jlens?shareId=cmr1qav5a0008pt2xhsvp0scq

source:

https://www.anthropic.com/research/global-workspace

--end--

最后记得⭐️我,每天都在更新:如果觉得文章还不错的话可以点赞转发推荐评论

/...@作者:你说的完全正确(YAR师)

  • 发表于:
  • 原文链接https://page.om.qq.com/page/OjErIVUk9FA6qGj-lMRYc5eA0
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

相关快讯

领券