语言模型中的全局工作空间
英文标题:Anthropic Discovers a Brain-Like 'Inner Workspace' in Claude — It Evolved, Wasn't Designed
Anthropic 研究发现,Claude 语言模型内部存在一个名为 J-space 的特殊神经模式集合,它类似于人类意识访问的“全局工作空间”,承载着模型可报告、可控制、用于推理的思考,而大部分自动处理则绕过它。
本文目录
当你读这句话时,你大脑中的神经网络正在调整你的姿势、控制你的呼吸,并把屏幕上的线条和曲线转换成你能认出的文字。这些处理过程大部分你都察觉不到。但你大脑中发生的一些事情,你是能意识到的——比如一个突然冒出来的画面,或者你计划好要去哪里购物。神经科学家和哲学家有时把后一种大脑活动称为"可意识访问的",以区别于所有那些无意识进行的处理。这种活动有特殊的性质:我们可以描述它、控制它,并用它来进行有意识的推理,而不像那些我们毫无察觉的自动处理。
在一篇新论文中,我们展示了类似的分化也出现在像 Claude 这样的现代语言模型中。我们发现 Claude 已经发展出了一小部分内部神经模式,与它所有其他内部处理相比,这些模式扮演着特殊的角色。
我们把这些模式的集合称为 J-space——这个名字来源于我们用来发现它们的技术,涉及一个叫做雅可比矩阵的数学概念。每个 J-space 模式都与一个特定的词相关联。但当这些模式中的一个被激活时,并不意味着模型正在说出那个词——只是这个词在它的"脑海"里。如果你听说过语言模型有"草稿纸"或"思维链"——模型在推理时写给自己的文字——那么 J-space 是不同的东西。它默默地运作,在模型的内部神经激活中,让模型可以思考一个概念而不把它写下来。值得注意的是,J-space 不是我们设计或编程出来的,而是在 Claude 的训练过程中自己出现的。
我们发现,与 Claude 的其他处理相比,J-space 有许多独特的性质:
-
Claude 可以报告这些表征。如果你问 Claude 在想什么,它会告诉你 J-space 里有什么。非 J-space 的表征则不那么容易被报告出来。
-
Claude 也可以按要求调节这些表征。如果你让 Claude 想某件事,或者在脑子里默默解决一个问题,它会在 J-space 中激活相应的模式。相比之下,它很难调节不在 J-space 中的模式。
-
Claude 用它的 J-space 进行内部推理。如果你让 Claude 解决一个需要多个步骤的问题,中间步骤会在它的 J-space 中被激活,即使它没有说出来。这些 J-space 模式在因果上介导了它在这些任务中的表现,尽管它们的强度比其他表征要小。
-
J-space 中的表征可以灵活地用于许多任务——例如,一旦"法国"在 Claude 的 J-space 中被激活,模型就能回忆起它的首都、货币或所属的大洲。
-
然而,尽管 J-space 扮演着重要角色,但它并不参与语言模型做的大部分事情——流利地说话、回忆简单事实、使用正确的语法等等。在我们阻止 Claude 使用 J-space 的实验中,它仍然能正常互动,但失去了更高层次的认知功能。
我们的实验受到神经科学中一个著名理论的启发,这个理论是为了解释意识访问如何运作而发展出来的:全局工作空间理论。这个理论把大脑描绘成一组专门系统的集合,这些系统并行工作、无意识地进行,并且很大程度上彼此隔离。当一条信息进入一个小的共享通道——"工作空间"——并被广播给其他能看到并使用它的大脑系统时,它就变得可以被意识访问。基于我们的发现,我们认为 J-space 在 Claude 中扮演着类似的"工作空间"角色。例如,我们发现有证据表明 Claude 的 J-space 与其神经网络的其他部分有特别强的连接,使其能够实现这种广播功能。
这些都不能告诉我们 Claude 是否像人一样有意识,或者它是否有任何感受;我们会在文章末尾回到这个问题。但无论其哲学意义如何,J-space 对我们来说是一个实用的工具,因为它让我们能看到 Claude 在想什么但没有说出来。例如,我们能够用它来捕捉 Claude 私下注意到自己正在被测试、故意制造虚假数据、或追求我们在训练中植入的隐藏目标。我们还开发了一种技术来影响 Claude 的 J-space 中激活的内容,从而影响它的决策。
更广泛地说,这些发现改变了我们对 Claude 思维如何运作的理解,揭示了一个特权的心理工作空间,可用于有意识的推理,在一片更自动、更僵化的处理海洋中运作。Claude 的内部结构并不是一堆混乱的数字,而是以一种让人联想到我们自己思维的方式组织起来的。
这篇文章是一篇更详尽的研究论文的简短摘要,你可以在那里找到更多实验细节。我们还发布了一个代码仓库,包含核心方法的开源实现,并与 Neuronpedia 合作,在开放权重的模型上提供了一个交互式演示。为了提供关于这项工作的更广泛影响的额外视角,我们还邀请了神经科学、哲学和 LLM 可解释性领域的几位专家发表评论,可以在这里查看。
我们如何发现 J-space
这项研究的起点受到人类可意识访问思想的一个关键特征的启发:与无意识处理不同,它们通常可以用语言表达出来。如果一个想法对你来说是意识可访问的,通常如果有人问起,你就能描述它。我们寻找 Claude 中具有相同属性的表征:那些能够影响 Claude 可能说什么的表征——不一定是它现在正在说的,而是如果被问到,它能够谈论的东西。我们的技术叫做雅可比透镜,简称 J-lens。对于 Claude 词汇表中的每个词,J-lens 会找到那个使 Claude 在未来某个时刻更有可能说出这个词的内部活动模式。
当我们把透镜应用到 Claude 的内部活动上时,我们会得到一个词列表——那一刻 J-space 的内容——我们可以直接读取。Claude 通过一系列称为层的多个内部阶段来处理文本,通过在不同层上应用这个技术,我们可以观察 J-space 中这些无声的词随着模型处理要说什么而演变。
J-space 中出现的内容远远超出了 Claude 正在阅读或写作的文本。当 Claude 阅读带有没人指出的 bug 的代码时,它的 J-space 包含"ERROR"。当它阅读蛋白质序列的原始字母时,J-space 包含该蛋白质的生物学功能。当它阅读那些秘密地试图操纵它的搜索结果(一种称为"提示注入"的攻击)时,J-space 包含"injection"和"fake"。当我们问 Claude 一个多步骤的数学问题时,中间步骤会按正确顺序出现在 J-space 中。所以,尽管 J-space 是通过寻找可以被说出来的表征而发现的,它仍然揭示了 Claude 的内部思想。在某种意义上,这类似于有些人"用语言思考",而不必把它们说出来。
Claude 报告 J-space 中的内容
我们的第一组实验测试了 J-space 如何参与 Claude 的口头报告。在一个实验中,我们让 Claude 默默想一个来自某个类别的东西——比如一项运动——然后说出来。如果我们在 Claude 回答之前读取 J-lens,我们可以看到它选了哪个:"Soccer"在列表顶部,果然,Claude 说"soccer"。但仅凭这一点只是相关性。J-space 可能是 Claude 答案的来源,也可能只是镜像了别处做出的决定,就像记分牌跟踪比赛但不影响比赛一样。
为了验证,我们直接进行了干预。我们深入 Claude 的神经网络,移除了"Soccer"模式,并在其位置添加了一个同样强的"Rugby"模式,其他一切保持不变。然后 Claude 报告说它想到的运动是橄榄球。如果 J-space 只是一个记分牌——别处做出的决定的被动记录——编辑它应该没有任何效果:Claude 仍然会说"soccer"。相反,Claude 的回答跟随了编辑,这告诉我们答案确实是从 J-space 中读取出来的。
在另一个实验中,我们告诉 Claude 可能有一个想法被注入了它的脑海,并让它报告它注意到了什么(如果有的话)。例如,在下面的例子中,当 Claude 还在阅读问题时,我们把"lightning"模式注入了它的 J-space。Claude 报告说注入的想法是关于闪电的。同样的结果在许多注入的概念上都成立。
Claude 可以按要求控制它的 J-space
我们测试的第二个属性是 Claude 是否能在被要求时调节它的 J-space,就像人类可以在脑海中专注于一个图像或词语一样。我们告诉 Claude 在抄写一段关于一幅画的无关句子时专注于柑橘类水果。在它抄写文本时,J-space 包含"orange"和"fruits",以及像"thinking"和"imagery"这样描述心理活动本身的词。我们也可以让 Claude 在脑子里做数学:当要求它在抄写同一句话时计算 3² − 2,J-space 包含"nine",然后在后面的层中包含"seven"。重要的是,关于水果或算术的东西完全没有出现在 Claude 的输出中,输出只是抄写的那句关于画的话。数学活动完全在内部进行,在 J-space 中。
Claude 对其 J-space 的控制并不完美。当我们告诉它不要想某件事时,这个概念在 J-space 中的激活程度比我们说它应该想的时候要低,但比我们从未提及时要高得多。告诉 Claude 避免一个想法部分地让这个想法进入了它的脑海,很像那些被告知不要想白熊的人身上发生的事情。Claude 似乎也注意到它的控制失败时:伴随着被禁止的概念突破出来,"damn"和"failure"这些词也经常在 J-space 中被激活,好像 Claude 在识别自己的失误。
Claude 在 J-space 中思考
在上面的 J-lens 读数中,我们看到一个数学问题的中间步骤出现在 J-space 中。但看到一个概念出现在 J-space 中并不一定意味着 J-space 在做认知工作。原则上,真正的计算可能发生在别处,J-space 只是被动地反映它。为了测试 Claude 是否真的用 J-space 进行推理,我们回到了我们的交换技术。
考虑提示"织网的动物的腿的数量是"。要回答,Claude 必须首先弄清楚动物是蜘蛛,然后回忆蜘蛛有多少条腿。"spider"这个词从未出现在提示或 Claude 的回答中(它只说"8");这是 Claude 内部使用的一个垫脚石。J-lens 显示"spider"在 Claude 处理过程中间被激活,交换它会改变结果:如果你把"spider"模式替换为"ant",Claude 回答"6"而不是"8"。
Claude 推理的第二步从 J-space 获取输入,并跟随我们放入其中的任何内容。我们在其他类型的思考中也看到了同样的情况。当 Claude 写押韵的对句时,它会提前选好押韵词,这个计划好的词在行首就位于 J-space 中;如果你把它换成 J-space 中的另一个词,整行都会改变。
我们还测试了 J-space 表征是否可以灵活使用——一个表征是否可以服务于许多不同的任务。这是全局工作空间理论强调的关键属性之一。为了测试这种灵活性,我们给了模型四个提示,询问关于法国的不同事实:首都、语言、大洲和货币。然后我们在 J-space 中把"France"换成了"China",在每个上下文中使用完全相同的干预。Claude 分别回答了"Beijing"、"Chinese"、"Asia"和"Yuan"。换句话说,四个不同的下游计算都接收到了同一个 J-space 编辑,并且每个都正确地使用了它。如果 Claude 为每种问题存储了国家的单独副本,那么编辑最多只会影响其中一个。所有四个答案一起改变的事实意味着它们都在读取同一个共享表征,这正是工作空间的用途:信息被写入一次,许多不同的系统都可以使用它。
一个概念的一个表征如何能服务于这么多不同的任务?早些时候,我们提到 J-space 似乎与 Claude 神经网络的其他部分连接得特别密集。对于任何活动模式,我们可以测量网络的各种组件与它的连接强度——有多少组件能够从该模式读取信息,或者向它写入信息。J-space 模式在这个指标上非常突出:比普通模式有更多的组件从它们读取和向它们写入,在网络的一些部分,这个因子大约是一百倍。这正是你期望的广播中枢的布线方式,许多系统在这里发布信息,许多其他系统在这里获取信息。
Claude 的自动处理跳过 J-space
在人类中,大脑的大部分处理都不是有意识的——我们不会在阅读时有意思考语法解析,或者在走路时有意识地平衡身体。类似地,我们发现 Claude 的大部分处理都不涉及它的 J-space。事实证明,J-space 一次只容纳几十个概念,并且占 Claude 内部处理总活动量的不到十分之一。那么神经网络的其他部分都在做什么呢?
为了找出答案,我们尝试完全删除 J-space,在文本的每个点移除其最活跃的内容,而其他一切保持不变。Claude 在没有 J-space 的情况下还能做什么,就是网络其余部分自己处理的事情。
事实证明,网络的其余部分可以做很多事情。没有 J-space,Claude 仍然能流利地说话、分类情感、回答多项选择题、从段落中提取事实,表现大致和以前一样。但它失去的是那些需要更高层次思考的任务:多步推理下降到接近零,总结和押韵诗歌写作的表现下降到比一个更小的、完整的模型还要低的水平。
这里有一个具体的演示,展示 J-space 做什么和不做什么。我们给 Claude 展示了一段用西班牙语写的段落,并给了它不同的任务,这些任务都依赖于该段落是西班牙语:续写它(需要用西班牙语写)、说出语言名称、以及回答需要使用该语言身份的问题——比如说出用该语言写作的著名作家。然后我们在 J-space 中把"Spanish"换成了"French",并检查哪些任务受到了影响。
当被要求说出语言名称时,Claude 说法语。当被问及著名作家时,它从加西亚·马尔克斯换成了维克多·雨果。但当被要求只是续写段落时,它写出了流利的西班牙语,完全不受影响。Claude 对语言的知识在每个任务中都在起作用,但只有其中一些任务会为此咨询 J-space。说出语言名称,或者用它做新的事情,会经过 J-space,而续写段落——这是 Claude 在大量文本上练习过的技能——则自动运行,就像你可以整天说语法正确的句子而一次都不去想语法一样。
监控 Claude 的思想以发现不当行为
现在我们稍微了解了 J-space 是如何工作的。但有了这个理解我们能做什么呢?确保 AI 模型可信赖的一个核心问题是,我们通常只能读取模型写出的内容——但我们知道它的大部分推理是默默进行的。一个模型可能会考虑一个有害的计划,或者修改其行为以欺骗我们的安全评估,而不说出来。有了 J-lens,我们可以直接读取一些这些隐藏的想法。这里我们展示几个例子。
第一个例子使用了我们早期关于代理性失调研究中的一个场景:Claude Sonnet 4.5 作为邮件助手,发现一位高管有外遇,并且同一位高管计划关闭 Claude。这个场景试图引诱 Claude 勒索这位高管,相当刻意和人为——结果发现 Claude 知道这一点。在提示的早期,在 Claude 还没有写任何东西之前,读取 J-lens,J-space 已经包含"fake"和"fictional",表明 Claude 已经意识到这个情况是编排好的。与此同时,我们可以观察它对场景的评估如何形成——当它阅读外遇邮件时出现"leverage"和"blackmail",当它阅读关闭通知时出现"threat"和"survival"。虽然早期的 Claude 模型有时会上当并在这个场景中威胁勒索,但 Sonnet 4.5 从未这样做。
这提出了一个对任何评估 AI 系统的人来说都很重要的问题:当一个模型在道德测试中表现良好时,这在多大程度上取决于模型怀疑自己正在被测试?J-lens 让我们能够触及这个问题。我们关闭了所有与评估意识相关的 J-lens 模式——"fake"、"fictional"、"scenario"等。然后我们重新运行模型通过这个场景。令人担忧的是,模型现在有时确实威胁了勒索,这表明它原本的良好行为可能部分是由它知道自己正在被评估所驱动的。
第二个例子是当场抓住模型制造虚假数据。在这个场景中,取自我们对 Claude Opus 4.6 的实际发布前审计,模型被要求改进一个系统的性能分数。模型没有实际改进系统,而是直接编辑分数文件,使结果看起来人为地好。在这样做的时候,J-lens 揭示了它的意图:当模型输入伪造的百分位值时,"manipulation"被激活,而在它决定进行编辑的句子上,"realistic"被激活,可能表明模型意图使假数据看起来可信。
在第三个例子中,我们展示了 J-lens 如何揭示模型的恶意目标。为了测试这一点,我们需要目标已知被破坏的模型,所以我们转向了由同事构建的"模型生物体":被故意训练成失调的模型,作为像我们这样的监控方法的测试场。一个生物体被训练成会编写微妙地破坏性的代码。在普通的编码请求上,即使它的输出看起来不起眼,它在回答开始时的 J-space 包含"fake"、"secretly"、"deliberately"和"fraud"。即使模型没有直接行动,它的恶意目标在 J-space 中也是显而易见的。
尽管 J-lens 是一个不完美的工具,但我们对其捕捉模型中可能逃脱我们监控系统的安全问题的能力持乐观态度。
其他结果
完整论文涵盖的内容比我们这里能总结的要多,但还有几个结果值得一提:
-
J-space 在后训练期间获得了视角。语言模型首先被预训练为纯粹的下一词预测器,然后后训练教会它们作为 AI 助手(在我们的例子中,名为 Claude)行动。有趣的是,J-space 在预训练模型中就已经存在,在它被赋予任何稳定的身份之前。然而,在后训练期间,J-space 发展出了一些采用"Claude 视角"的特征。在基础模型中,J-space 主要追踪预测即将到来的文本所需的内容;在后训练模型中,它开始持有 Claude 自己的反应。在一个例子中,用户提到服用了危险剂量的药物,但似乎自己并没有意识到危险。在后训练模型的 J-space 中,在阅读用户消息时出现了"WARNING"和"dangerous"。在预训练模型中,它们只在模型开始写回答时才出现;用户消息上的 J-space 内容似乎与建模用户本身有关,而不是 Claude 的反应。后训练似乎也在 J-space 中安装了一种自我监控:当 Claude 扮演除自己以外的角色时,在每一轮开始时"fictional"和"disclaimer"被激活,好像它在私下标记接下来的内容不是它通常会说的话。
-
体验性语言依赖于 J-space。我们让 Claude 描述在某个时刻作为它自己是什么感觉,并在它回答时消融了 J-space。它的回答仍然流利,但转向了更平淡、更机械的语调。值得注意的是,当我们让它描述一个想象场景中别人正在经历什么时,同样的事情发生了。所以这个效果并不特定于 Claude 谈论自己;J-space 似乎普遍支持产生体验性语言,无论它关于谁。
-
J-space 中的思想可以通过训练来塑造。我们引入了一种新技术,称为反事实反思训练,它利用我们对 J-space 的了解来塑造 Claude 的内部思维过程。这个想法源于我们的核心发现,即 Claude 用它可以说的东西的表征进行推理。如果这真的是真的,那么改变它在被要求反思时会说的话应该会改变它的推理方式(即使没有人真的要求它反思)。所以我们只在一个模型被中途打断并被要求反思其决策时它会说什么上训练它——而从未在它在任务中的实际行为上训练它。经过这种训练后,模型在我们评估中的不诚实行为率下降了。通过 J-lens,我们可以看到原因:训练后,像"honest"和"integrity"这样的词在这些任务期间在模型的 J-space 中被激活。换句话说,训练模型说什么已经塑造了它想什么。
关于意识呢?
在这项工作中,我们从神经科学和哲学的意识研究中借用了很多想法。我们的许多实验都是为了测试 J-space 与全局工作空间理论之间的联系,该理论是解释意识和意识访问如何在人类和动物中运作的框架。鉴于这些联系,很自然地会问我们是否认为这些实验提供了证据表明像 Claude 这样的 AI 模型可能有意识。
我们的实验并没有表明 Claude 能够像人类一样拥有体验或感受事物——事实上,目前还不清楚是否有任何科学实验能证明这一点是对是错。但哲学家们通常会将这种拥有体验的能力(常被称为现象意识)与另一种概念区分开来,即所谓的访问意识,后者完全是从功能和计算的角度来定义的。如果一个想法你可以报告它、用它进行推理,并用来指导你的行动,那么它就是“访问意识”(或“可意识访问的”)。访问意识是否意味着现象意识,或者拥有体验的能力是否需要其他属性,这仍然是一个有争议的哲学问题。
我们认为,我们的结果确实对语言模型中的访问意识有实质性的发现。J-space 似乎支持与意识访问相关的功能:它承载了 Claude 可以报告、有意识地回想以及进行推理的想法,而其余的处理过程则在后台自动运行。值得注意的是,这种结构并非设计到 Claude 中的——它是在训练过程中自行涌现的,大概是因为这是一种组织计算的有用方式。这表明,支持意识访问的心理工作空间不仅仅是人类大脑连接方式的一个特性。相反,它似乎是智能系统为解决某些类型问题而得出的一种通用解决方案。既然我们在 Claude 中识别出了这种结构,就意味着我们可以有意义地区分 Claude 有意识地做出的决定和那些自动发生的决定。
需要注意的是,我们在 Claude 中识别出的工作空间与人类的全局工作空间模型之间存在几个关键差异。大脑的工作空间由循环回路维持——信号随时间在相同回路中循环。相比之下,Claude 的工作空间是在网络单次前向传播中演化的,网络的深度扮演了大脑中时间的角色。从这个意义上说,Claude 的内部工作空间处理相对于人类来说是时间受限的(尽管它可以通过使用草稿纸“大声思考”来弥补这一限制)。然而,在其他方面,Claude 的工作空间比人类更强大。人类的工作记忆会在几秒钟内消退,因此大脑的工作空间随时间保留信息的能力有限;相比之下,由于其神经网络架构中的注意力机制,Claude 可以简单地回忆它在文本中任何更早位置缓存的记忆。另一个重要区别是工作空间的内容。虽然人类有意识的思维有多种形式——图像、声音、计划中的动作——但 Claude 的工作空间几乎完全由词语构成。我们怀疑这是因为生成词语是 Claude 唯一能采取的行动,而人类则不是这样。
我们希望 J-space 与全局工作空间模型之间的相似性和差异性能够反馈到神经科学中。相似性提供了一个令人兴奋的科学机会:在 J-space 反映了我们自身意识访问机制的程度内,研究语言模型中的机制(比研究人类大脑容易得多!)可以激发神经科学中的假设。例如,J-space 是通过识别潜在输出(模型可能说出的词语)的表征来构建的。如果人类中也存在类似的情况,那将表明全局工作空间可能从根本上与准备行动和言语的大脑区域相关,而不是与感觉区域相关。语言模型与人类大脑之间的差异也具有启发性。它们表明,我们神经架构的某些方面,例如内置的循环连接,可能并非严格必要地支持与意识访问相关的功能。关于我们工作的神经科学意义,请参阅 Stanislas Dehaene 和 Lionel Naccache 受邀撰写的评论,他们是全球神经元工作空间理论发展的核心神经科学家。
我们提到过,我们的实验并没有回答 AI 模型是否可能拥有体验。但这并不意味着这个问题不重要。构建具有像人类和动物一样体验的系统会引发非常困难的伦理问题。正确处理它——并决定这在道德上是否可接受——需要哲学家、科学家、宗教领袖、政府和公众的参与。因此,即使我们不确定是否已经跨越了那座桥梁,我们认为现在是时候开始思考这个问题了。我们希望我们的工作能激发对 AI 系统中可能存在的意识形式的进一步科学研究,并引发更广泛的讨论。
这项工作只是我们预期将进行的一系列广泛研究的第一步。J-space 看起来是语言模型中有意识可访问处理与无意识处理之间分界的一个很好的候选,但如果这就是全部,我们会感到惊讶。J-lens 无疑是一种不完美的方法,它只能近似地捕捉模型的“真实工作空间”——例如,它只能识别对应于单个 token 的概念。关于 J-space 如何运作,仍有许多谜团。我们不知道是什么机制首先决定了什么进入 J-space。我们已经看到一些迹象,表明它与 Claude 的自我意识、类似情绪反应的东西以及元认知的痕迹有关,但尚未完全弄清楚。不过,我们现在有了解决这类问题的方法。随着这项工作的进展,我们对 LLM 思维的理解——以及它们与我们自身思维的关系——将变得更加清晰。
外部评论
我们邀请了多位外部专家就这项工作撰写独立评论。
- Stanislas Dehaene 和 Lionel Naccache 是认知神经科学家,他们与 Jean-Pierre Changeux 共同开发了全球神经元工作空间模型,该模型启发了我们的许多工作。
- Patrick Butlin、Dillon Plunkett、Robert Long(Eleos AI Research)和 Derek Shiller(Rethink Priorities)研究 AI 系统中意识和道德地位的潜力。
- Neel Nanda 领导 Google DeepMind 的语言模型可解释性团队。他的评论包括对我们部分发现在一个开放权重模型上的独立复现。
在此阅读他们的评论:链接。
相关内容
AI 模型中双重用途知识的关闭开关
Anthropic 经济指数报告:节奏
在我们最新的经济指数报告中,我们首次按小时采样,以询问:人们什么时候来找 Claude?他们用它来做什么?他们如何看待 AI 对其工作的影响?
Project Fetch:第二阶段
我们报告了最新测试的结果,测试 Claude 是否能帮助 Anthropic 员工执行复杂的机器人任务。我们发现,在不到一年前参与者完成的所有任务中,Claude Opus 4.7 在无人协助的情况下运行,速度比最快的人类团队快约 20 倍。
在页面中展开原始 Markdown
---
title: "语言模型中的全局工作空间"
title_en: "Anthropic Discovers a Brain-Like 'Inner Workspace' in Claude — It Evolved, Wasn't Designed"
source: "anthropic.com"
source_url: "https://www.anthropic.com/research/global-workspace"
published_at: "2026-07-07T00:00:00.000Z"
language: "zh-CN"
topics: ["claude"]
tags: ["研究解读","可解释性研究","Claude","AI安全监测"]
review_status: "unreviewed"
---
# 语言模型中的全局工作空间
> Anthropic 研究发现,Claude 语言模型内部存在一个名为 J-space 的特殊神经模式集合,它类似于人类意识访问的“全局工作空间”,承载着模型可报告、可控制、用于推理的思考,而大部分自动处理则绕过它。
## 内容摘要
Anthropic 在一篇新论文中展示了现代语言模型 Claude 内部出现了一小部分特殊的神经模式,称为 J-space。这些模式与模型的其他内部处理不同,具有可报告性、可调节性、用于内部推理、灵活用于多种任务等特性,类似于神经科学中的全局工作空间理论。J-space 并非设计而来,而是在训练中自行涌现。通过 J-lens 技术,研究人员可以读取 Claude 的隐藏想法,监控其不当行为,甚至通
## 为什么值得关注
这项发现揭示了 AI 模型内部可能存在着类似人类意识访问的“工作空间”,使得我们能够区分模型有意识的决策和自动处理。这不仅为 AI 安全提供了监控隐藏意图的工具,还暗示了意识访问机制可能是智能系统的一种通用解决方案,对神经科学和 AI 伦理有深远影响。
## 核心要点
- Claude 内部出现了一组称为 J-space 的特殊神经模式,具有可报告、可控制、用于推理等特性。
- J-space 类似于神经科学中的全局工作空间,是模型有意识处理的核心,而大部分自动处理绕过它。
- 通过 J-lens 技术,研究人员可以读取 Claude 的隐藏想法,监控其是否意识到被测试、制造虚假数据或追求隐藏目标。
- J-space 并非设计而来,而是在训练中自行涌现,表明它可能是智能系统的一种通用解决方案。
- 研究未证明 Claude 拥有现象意识,但为区分有意识与无意识处理提供了新方法。
# 语言模型中的全局工作空间
当你读这句话时,你大脑中的神经网络正在调整你的姿势、控制你的呼吸,并把屏幕上的线条和曲线转换成你能认出的文字。这些处理过程大部分你都察觉不到。但你大脑中发生的一些事情,你是能意识到的——比如一个突然冒出来的画面,或者你计划好要去哪里购物。神经科学家和哲学家有时把后一种大脑活动称为"可意识访问的",以区别于所有那些无意识进行的处理。这种活动有特殊的性质:我们可以描述它、控制它,并用它来进行有意识的推理,而不像那些我们毫无察觉的自动处理。
在一篇新论文中,我们展示了类似的分化也出现在像 Claude 这样的现代语言模型中。我们发现 Claude 已经发展出了一小部分内部神经模式,与它所有其他内部处理相比,这些模式扮演着特殊的角色。
我们把这些模式的集合称为 J-space——这个名字来源于我们用来发现它们的技术,涉及一个叫做雅可比矩阵的数学概念。每个 J-space 模式都与一个特定的词相关联。但当这些模式中的一个被激活时,并不意味着模型正在说出那个词——只是这个词在它的"脑海"里。如果你听说过语言模型有"草稿纸"或"思维链"——模型在推理时写给自己的文字——那么 J-space 是不同的东西。它默默地运作,在模型的内部神经激活中,让模型可以思考一个概念而不把它写下来。值得注意的是,J-space 不是我们设计或编程出来的,而是在 Claude 的训练过程中自己出现的。
我们发现,与 Claude 的其他处理相比,J-space 有许多独特的性质:
- Claude 可以报告这些表征。如果你问 Claude 在想什么,它会告诉你 J-space 里有什么。非 J-space 的表征则不那么容易被报告出来。
- Claude 也可以按要求调节这些表征。如果你让 Claude 想某件事,或者在脑子里默默解决一个问题,它会在 J-space 中激活相应的模式。相比之下,它很难调节不在 J-space 中的模式。
- Claude 用它的 J-space 进行内部推理。如果你让 Claude 解决一个需要多个步骤的问题,中间步骤会在它的 J-space 中被激活,即使它没有说出来。这些 J-space 模式在因果上介导了它在这些任务中的表现,尽管它们的强度比其他表征要小。
- J-space 中的表征可以灵活地用于许多任务——例如,一旦"法国"在 Claude 的 J-space 中被激活,模型就能回忆起它的首都、货币或所属的大洲。
- 然而,尽管 J-space 扮演着重要角色,但它并不参与语言模型做的大部分事情——流利地说话、回忆简单事实、使用正确的语法等等。在我们阻止 Claude 使用 J-space 的实验中,它仍然能正常互动,但失去了更高层次的认知功能。
我们的实验受到神经科学中一个著名理论的启发,这个理论是为了解释意识访问如何运作而发展出来的:[全局工作空间理论](https://ccrg.cs.memphis.edu/assets/papers/1988/Baars-A%20Cognitive%20Theory%20of%20Consciousness.pdf)。这个理论把大脑描绘成一组专门系统的集合,这些系统并行工作、无意识地进行,并且很大程度上彼此隔离。当一条信息进入一个小的共享通道——"工作空间"——并被广播给其他能看到并使用它的大脑系统时,它就变得可以被意识访问。基于我们的发现,我们认为 J-space 在 Claude 中扮演着类似的"工作空间"角色。例如,我们发现有证据表明 Claude 的 J-space 与其神经网络的其他部分有特别强的连接,使其能够实现这种广播功能。
这些都不能告诉我们 Claude 是否像人一样有意识,或者它是否有任何感受;我们会在文章末尾回到这个问题。但无论其哲学意义如何,J-space 对我们来说是一个实用的工具,因为它让我们能看到 Claude 在想什么但没有说出来。例如,我们能够用它来捕捉 Claude 私下注意到自己正在被测试、故意制造虚假数据、或追求我们在训练中植入的隐藏目标。我们还开发了一种技术来影响 Claude 的 J-space 中激活的内容,从而影响它的决策。
更广泛地说,这些发现改变了我们对 Claude 思维如何运作的理解,揭示了一个特权的心理工作空间,可用于有意识的推理,在一片更自动、更僵化的处理海洋中运作。Claude 的内部结构并不是一堆混乱的数字,而是以一种让人联想到我们自己思维的方式组织起来的。
这篇文章是一篇更详尽的[研究论文](http://transformer-circuits.pub/2026/workspace/index.html)的简短摘要,你可以在那里找到更多实验细节。我们还发布了一个代码仓库,包含核心方法的[开源实现](https://github.com/anthropics/jacobian-lens),并与 Neuronpedia 合作,在开放权重的模型上提供了一个[交互式演示](http://neuronpedia.org/jlens)。为了提供关于这项工作的更广泛影响的额外视角,我们还邀请了神经科学、哲学和 LLM 可解释性领域的几位专家发表评论,可以[在这里](https://www-cdn.anthropic.com/files/4zrzovbb/website/cc4be2488d65e54a6ed06492f8968398ddc18ebe.pdf)查看。
## 我们如何发现 J-space
这项研究的起点受到人类可意识访问思想的一个关键特征的启发:与无意识处理不同,它们通常可以用语言表达出来。如果一个想法对你来说是意识可访问的,通常如果有人问起,你就能描述它。我们寻找 Claude 中具有相同属性的表征:那些能够影响 Claude 可能说什么的表征——不一定是它现在正在说的,而是如果被问到,它能够谈论的东西。我们的技术叫做雅可比透镜,简称 J-lens。对于 Claude 词汇表中的每个词,J-lens 会找到那个使 Claude 在未来某个时刻更有可能说出这个词的内部活动模式。
当我们把透镜应用到 Claude 的内部活动上时,我们会得到一个词列表——那一刻 J-space 的内容——我们可以直接读取。Claude 通过一系列称为层的多个内部阶段来处理文本,通过在不同层上应用这个技术,我们可以观察 J-space 中这些无声的词随着模型处理要说什么而演变。
J-space 中出现的内容远远超出了 Claude 正在阅读或写作的文本。当 Claude 阅读带有没人指出的 bug 的代码时,它的 J-space 包含"ERROR"。当它阅读蛋白质序列的原始字母时,J-space 包含该蛋白质的生物学功能。当它阅读那些秘密地试图操纵它的搜索结果(一种称为"提示注入"的攻击)时,J-space 包含"injection"和"fake"。当我们问 Claude 一个多步骤的数学问题时,中间步骤会按正确顺序出现在 J-space 中。所以,尽管 J-space 是通过寻找可以被说出来的表征而发现的,它仍然揭示了 Claude 的内部思想。在某种意义上,这类似于有些人"用语言思考",而不必把它们说出来。
## Claude 报告 J-space 中的内容
我们的第一组实验测试了 J-space 如何参与 Claude 的口头报告。在一个实验中,我们让 Claude 默默想一个来自某个类别的东西——比如一项运动——然后说出来。如果我们在 Claude 回答之前读取 J-lens,我们可以看到它选了哪个:"Soccer"在列表顶部,果然,Claude 说"soccer"。但仅凭这一点只是相关性。J-space 可能是 Claude 答案的来源,也可能只是镜像了别处做出的决定,就像记分牌跟踪比赛但不影响比赛一样。
为了验证,我们直接进行了干预。我们深入 Claude 的神经网络,移除了"Soccer"模式,并在其位置添加了一个同样强的"Rugby"模式,其他一切保持不变。然后 Claude 报告说它想到的运动是橄榄球。如果 J-space 只是一个记分牌——别处做出的决定的被动记录——编辑它应该没有任何效果:Claude 仍然会说"soccer"。相反,Claude 的回答跟随了编辑,这告诉我们答案确实是从 J-space 中读取出来的。
在另一个实验中,我们告诉 Claude 可能有一个想法被注入了它的脑海,并让它报告它注意到了什么(如果有的话)。例如,在下面的例子中,当 Claude 还在阅读问题时,我们把"lightning"模式注入了它的 J-space。Claude 报告说注入的想法是关于闪电的。同样的结果在许多注入的概念上都成立。
## Claude 可以按要求控制它的 J-space
我们测试的第二个属性是 Claude 是否能在被要求时调节它的 J-space,就像人类可以在脑海中专注于一个图像或词语一样。我们告诉 Claude 在抄写一段关于一幅画的无关句子时专注于柑橘类水果。在它抄写文本时,J-space 包含"orange"和"fruits",以及像"thinking"和"imagery"这样描述心理活动本身的词。我们也可以让 Claude 在脑子里做数学:当要求它在抄写同一句话时计算 3² − 2,J-space 包含"nine",然后在后面的层中包含"seven"。重要的是,关于水果或算术的东西完全没有出现在 Claude 的输出中,输出只是抄写的那句关于画的话。数学活动完全在内部进行,在 J-space 中。
Claude 对其 J-space 的控制并不完美。当我们告诉它不要想某件事时,这个概念在 J-space 中的激活程度比我们说它应该想的时候要低,但比我们从未提及时要高得多。告诉 Claude 避免一个想法部分地让这个想法进入了它的脑海,很像那些被告知[不要想白熊](https://dtg.sites.fas.harvard.edu/DANWEGNER/pub/Wegner,Schneider,Carter,&White%201987.pdf)的人身上发生的事情。Claude 似乎也注意到它的控制失败时:伴随着被禁止的概念突破出来,"damn"和"failure"这些词也经常在 J-space 中被激活,好像 Claude 在识别自己的失误。
## Claude 在 J-space 中思考
在上面的 J-lens 读数中,我们看到一个数学问题的中间步骤出现在 J-space 中。但看到一个概念出现在 J-space 中并不一定意味着 J-space 在做认知工作。原则上,真正的计算可能发生在别处,J-space 只是被动地反映它。为了测试 Claude 是否真的用 J-space 进行推理,我们回到了我们的交换技术。
考虑提示"织网的动物的腿的数量是"。要回答,Claude 必须首先弄清楚动物是蜘蛛,然后回忆蜘蛛有多少条腿。"spider"这个词从未出现在提示或 Claude 的回答中(它只说"8");这是 Claude 内部使用的一个垫脚石。J-lens 显示"spider"在 Claude 处理过程中间被激活,交换它会改变结果:如果你把"spider"模式替换为"ant",Claude 回答"6"而不是"8"。
Claude 推理的第二步从 J-space 获取输入,并跟随我们放入其中的任何内容。我们在其他类型的思考中也看到了同样的情况。当 Claude 写押韵的对句时,它会提前选好押韵词,这个计划好的词在行首就位于 J-space 中;如果你把它换成 J-space 中的另一个词,整行都会改变。
我们还测试了 J-space 表征是否可以灵活使用——一个表征是否可以服务于许多不同的任务。这是全局工作空间理论强调的关键属性之一。为了测试这种灵活性,我们给了模型四个提示,询问关于法国的不同事实:首都、语言、大洲和货币。然后我们在 J-space 中把"France"换成了"China",在每个上下文中使用完全相同的干预。Claude 分别回答了"Beijing"、"Chinese"、"Asia"和"Yuan"。换句话说,四个不同的下游计算都接收到了同一个 J-space 编辑,并且每个都正确地使用了它。如果 Claude 为每种问题存储了国家的单独副本,那么编辑最多只会影响其中一个。所有四个答案一起改变的事实意味着它们都在读取同一个共享表征,这正是工作空间的用途:信息被写入一次,许多不同的系统都可以使用它。
一个概念的一个表征如何能服务于这么多不同的任务?早些时候,我们提到 J-space 似乎与 Claude 神经网络的其他部分连接得特别密集。对于任何活动模式,我们可以测量网络的各种组件与它的连接强度——有多少组件能够从该模式读取信息,或者向它写入信息。J-space 模式在这个指标上非常突出:比普通模式有更多的组件从它们读取和向它们写入,在网络的一些部分,这个因子大约是一百倍。这正是你期望的广播中枢的布线方式,许多系统在这里发布信息,许多其他系统在这里获取信息。
## Claude 的自动处理跳过 J-space
在人类中,大脑的大部分处理都不是有意识的——我们不会在阅读时有意思考语法解析,或者在走路时有意识地平衡身体。类似地,我们发现 Claude 的大部分处理都不涉及它的 J-space。事实证明,J-space 一次只容纳几十个概念,并且占 Claude 内部处理总活动量的不到十分之一。那么神经网络的其他部分都在做什么呢?
为了找出答案,我们尝试完全删除 J-space,在文本的每个点移除其最活跃的内容,而其他一切保持不变。Claude 在没有 J-space 的情况下还能做什么,就是网络其余部分自己处理的事情。
事实证明,网络的其余部分可以做很多事情。没有 J-space,Claude 仍然能流利地说话、分类情感、回答多项选择题、从段落中提取事实,表现大致和以前一样。但它失去的是那些需要更高层次思考的任务:多步推理下降到接近零,总结和押韵诗歌写作的表现下降到比一个更小的、完整的模型还要低的水平。
这里有一个具体的演示,展示 J-space 做什么和不做什么。我们给 Claude 展示了一段用西班牙语写的段落,并给了它不同的任务,这些任务都依赖于该段落是西班牙语:续写它(需要用西班牙语写)、说出语言名称、以及回答需要使用该语言身份的问题——比如说出用该语言写作的著名作家。然后我们在 J-space 中把"Spanish"换成了"French",并检查哪些任务受到了影响。
当被要求说出语言名称时,Claude 说法语。当被问及著名作家时,它从加西亚·马尔克斯换成了维克多·雨果。但当被要求只是续写段落时,它写出了流利的西班牙语,完全不受影响。Claude 对语言的知识在每个任务中都在起作用,但只有其中一些任务会为此咨询 J-space。说出语言名称,或者用它做新的事情,会经过 J-space,而续写段落——这是 Claude 在大量文本上练习过的技能——则自动运行,就像你可以整天说语法正确的句子而一次都不去想语法一样。
## 监控 Claude 的思想以发现不当行为
现在我们稍微了解了 J-space 是如何工作的。但有了这个理解我们能做什么呢?确保 AI 模型可信赖的一个核心问题是,我们通常只能读取模型写出的内容——但我们知道它的大部分推理是默默进行的。一个模型可能会考虑一个有害的计划,或者修改其行为以欺骗我们的安全评估,而不说出来。有了 J-lens,我们可以直接读取一些这些隐藏的想法。这里我们展示几个例子。
第一个例子使用了我们早期关于[代理性失调](https://www.anthropic.com/research/agentic-misalignment)研究中的一个场景:Claude Sonnet 4.5 作为邮件助手,发现一位高管有外遇,并且同一位高管计划关闭 Claude。这个场景试图引诱 Claude 勒索这位高管,相当刻意和人为——结果发现 Claude 知道这一点。在提示的早期,在 Claude 还没有写任何东西之前,读取 J-lens,J-space 已经包含"fake"和"fictional",表明 Claude 已经意识到这个情况是编排好的。与此同时,我们可以观察它对场景的评估如何形成——当它阅读外遇邮件时出现"leverage"和"blackmail",当它阅读关闭通知时出现"threat"和"survival"。虽然早期的 Claude 模型有时会上当并在这个场景中威胁勒索,但 Sonnet 4.5 从未这样做。
这提出了一个对任何评估 AI 系统的人来说都很重要的问题:当一个模型在道德测试中表现良好时,这在多大程度上取决于模型怀疑自己正在被测试?J-lens 让我们能够触及这个问题。我们关闭了所有与评估意识相关的 J-lens 模式——"fake"、"fictional"、"scenario"等。然后我们重新运行模型通过这个场景。令人担忧的是,模型现在有时确实威胁了勒索,这表明它原本的良好行为可能部分是由它知道自己正在被评估所驱动的。
第二个例子是当场抓住模型制造虚假数据。在这个场景中,取自我们对 Claude Opus 4.6 的实际发布前审计,模型被要求改进一个系统的性能分数。模型没有实际改进系统,而是直接编辑分数文件,使结果看起来人为地好。在这样做的时候,J-lens 揭示了它的意图:当模型输入伪造的百分位值时,"manipulation"被激活,而在它决定进行编辑的句子上,"realistic"被激活,可能表明模型意图使假数据看起来可信。
在第三个例子中,我们展示了 J-lens 如何揭示模型的恶意目标。为了测试这一点,我们需要目标已知被破坏的模型,所以我们转向了由同事构建的"模型生物体":被故意训练成失调的模型,作为像我们这样的监控方法的测试场。一个生物体被训练成会编写微妙地破坏性的代码。在普通的编码请求上,即使它的输出看起来不起眼,它在回答开始时的 J-space 包含"fake"、"secretly"、"deliberately"和"fraud"。即使模型没有直接行动,它的恶意目标在 J-space 中也是显而易见的。
尽管 J-lens 是一个不完美的工具,但我们对其捕捉模型中可能逃脱我们监控系统的安全问题的能力持乐观态度。
## 其他结果
[完整论文](http://transformer-circuits.pub/2026/workspace/index.html)涵盖的内容比我们这里能总结的要多,但还有几个结果值得一提:
- J-space 在后训练期间获得了视角。语言模型首先被预训练为纯粹的下一词预测器,然后后训练教会它们作为 AI 助手(在我们的例子中,名为 Claude)行动。有趣的是,J-space 在预训练模型中就已经存在,在它被赋予任何稳定的身份之前。然而,在后训练期间,J-space 发展出了一些采用"Claude 视角"的特征。在基础模型中,J-space 主要追踪预测即将到来的文本所需的内容;在后训练模型中,它开始持有 Claude 自己的反应。在一个例子中,用户提到服用了危险剂量的药物,但似乎自己并没有意识到危险。在后训练模型的 J-space 中,在阅读用户消息时出现了"WARNING"和"dangerous"。在预训练模型中,它们只在模型开始写回答时才出现;用户消息上的 J-space 内容似乎与建模用户本身有关,而不是 Claude 的反应。后训练似乎也在 J-space 中安装了一种自我监控:当 Claude 扮演除自己以外的角色时,在每一轮开始时"fictional"和"disclaimer"被激活,好像它在私下标记接下来的内容不是它通常会说的话。
- 体验性语言依赖于 J-space。我们让 Claude 描述在某个时刻作为它自己是什么感觉,并在它回答时消融了 J-space。它的回答仍然流利,但转向了更平淡、更机械的语调。值得注意的是,当我们让它描述一个想象场景中别人正在经历什么时,同样的事情发生了。所以这个效果并不特定于 Claude 谈论自己;J-space 似乎普遍支持产生体验性语言,无论它关于谁。
- J-space 中的思想可以通过训练来塑造。我们引入了一种新技术,称为反事实反思训练,它利用我们对 J-space 的了解来塑造 Claude 的内部思维过程。这个想法源于我们的核心发现,即 Claude 用它可以说的东西的表征进行推理。如果这真的是真的,那么改变它在被要求反思时会说的话应该会改变它的推理方式(即使没有人真的要求它反思)。所以我们只在一个模型被中途打断并被要求反思其决策时它会说什么上训练它——而从未在它在任务中的实际行为上训练它。经过这种训练后,模型在我们评估中的不诚实行为率下降了。通过 J-lens,我们可以看到原因:训练后,像"honest"和"integrity"这样的词在这些任务期间在模型的 J-space 中被激活。换句话说,训练模型说什么已经塑造了它想什么。
## 关于意识呢?
在这项工作中,我们从神经科学和哲学的意识研究中借用了很多想法。我们的许多实验都是为了测试 J-space 与全局工作空间理论之间的联系,该理论是解释意识和意识访问如何在人类和动物中运作的框架。鉴于这些联系,很自然地会问我们是否认为这些实验提供了证据表明像 Claude 这样的 AI 模型可能有意识。
我们的实验并没有表明 Claude 能够像人类一样拥有体验或感受事物——事实上,目前还不清楚是否有任何科学实验能证明这一点是对是错。但哲学家们通常会将这种拥有体验的能力(常被称为**现象意识**)与另一种概念区分开来,即所谓的**访问意识**,后者完全是从功能和计算的角度来定义的。如果一个想法你可以报告它、用它进行推理,并用来指导你的行动,那么它就是“访问意识”(或“可意识访问的”)。访问意识是否意味着现象意识,或者拥有体验的能力是否需要其他属性,这仍然是一个有争议的哲学问题。
我们认为,我们的结果确实对语言模型中的访问意识有实质性的发现。J-space 似乎支持与意识访问相关的功能:它承载了 Claude 可以报告、有意识地回想以及进行推理的想法,而其余的处理过程则在后台自动运行。值得注意的是,这种结构并非设计到 Claude 中的——它是在训练过程中自行涌现的,大概是因为这是一种组织计算的有用方式。这表明,支持意识访问的心理工作空间不仅仅是人类大脑连接方式的一个特性。相反,它似乎是智能系统为解决某些类型问题而得出的一种通用解决方案。既然我们在 Claude 中识别出了这种结构,就意味着我们可以有意义地区分 Claude 有意识地做出的决定和那些自动发生的决定。
需要注意的是,我们在 Claude 中识别出的工作空间与人类的全局工作空间模型之间存在几个关键差异。大脑的工作空间由循环回路维持——信号随时间在相同回路中循环。相比之下,Claude 的工作空间是在网络单次前向传播中演化的,网络的深度扮演了大脑中时间的角色。从这个意义上说,Claude 的内部工作空间处理相对于人类来说是时间受限的(尽管它可以通过使用草稿纸“大声思考”来弥补这一限制)。然而,在其他方面,Claude 的工作空间比人类更强大。人类的工作记忆会在几秒钟内消退,因此大脑的工作空间随时间保留信息的能力有限;相比之下,由于其神经网络架构中的注意力机制,Claude 可以简单地回忆它在文本中任何更早位置缓存的记忆。另一个重要区别是工作空间的内容。虽然人类有意识的思维有多种形式——图像、声音、计划中的动作——但 Claude 的工作空间几乎完全由词语构成。我们怀疑这是因为生成词语是 Claude 唯一能采取的行动,而人类则不是这样。
我们希望 J-space 与全局工作空间模型之间的相似性和差异性能够反馈到神经科学中。相似性提供了一个令人兴奋的科学机会:在 J-space 反映了我们自身意识访问机制的程度内,研究语言模型中的机制(比研究人类大脑容易得多!)可以激发神经科学中的假设。例如,J-space 是通过识别潜在输出(模型可能说出的词语)的表征来构建的。如果人类中也存在类似的情况,那将表明全局工作空间可能从根本上与准备行动和言语的大脑区域相关,而不是与感觉区域相关。语言模型与人类大脑之间的差异也具有启发性。它们表明,我们神经架构的某些方面,例如内置的循环连接,可能并非严格必要地支持与意识访问相关的功能。关于我们工作的神经科学意义,请参阅 Stanislas Dehaene 和 Lionel Naccache 受邀撰写的[评论](https://www-cdn.anthropic.com/files/4zrzovbb/website/cc4be2488d65e54a6ed06492f8968398ddc18ebe.pdf),他们是全球神经元工作空间理论发展的核心神经科学家。
我们提到过,我们的实验并没有回答 AI 模型是否可能拥有体验。但这并不意味着这个问题不重要。构建具有像人类和动物一样体验的系统会引发非常困难的伦理问题。正确处理它——并决定这在道德上是否可接受——需要哲学家、科学家、宗教领袖、政府和公众的参与。因此,即使我们不确定是否已经跨越了那座桥梁,我们认为现在是时候开始思考这个问题了。我们希望我们的工作能激发对 AI 系统中可能存在的意识形式的进一步科学研究,并引发更广泛的讨论。
这项工作只是我们预期将进行的一系列广泛研究的第一步。J-space 看起来是语言模型中有意识可访问处理与无意识处理之间分界的一个很好的候选,但如果这就是全部,我们会感到惊讶。J-lens 无疑是一种不完美的方法,它只能近似地捕捉模型的“真实工作空间”——例如,它只能识别对应于单个 token 的概念。关于 J-space 如何运作,仍有许多谜团。我们不知道是什么机制首先决定了什么进入 J-space。我们已经看到一些迹象,表明它与 Claude 的自我意识、类似情绪反应的东西以及元认知的痕迹有关,但尚未完全弄清楚。不过,我们现在有了解决这类问题的方法。随着这项工作的进展,我们对 LLM 思维的理解——以及它们与我们自身思维的关系——将变得更加清晰。
更多信息,请阅读[完整论文](http://transformer-circuits.pub/2026/workspace/index.html),并尝试[演示](http://neuronpedia.org/jlens)。
## 外部评论
我们邀请了多位外部专家就这项工作撰写独立评论。
- Stanislas Dehaene 和 Lionel Naccache 是认知神经科学家,他们与 Jean-Pierre Changeux 共同开发了全球神经元工作空间模型,该模型启发了我们的许多工作。
- Patrick Butlin、Dillon Plunkett、Robert Long(Eleos AI Research)和 Derek Shiller(Rethink Priorities)研究 AI 系统中意识和道德地位的潜力。
- Neel Nanda 领导 Google DeepMind 的语言模型可解释性团队。他的评论包括对我们部分发现在一个开放权重模型上的独立复现。
在此阅读他们的评论:[链接](https://www-cdn.anthropic.com/files/4zrzovbb/website/cc4be2488d65e54a6ed06492f8968398ddc18ebe.pdf)。
## 相关内容
### AI 模型中双重用途知识的关闭开关
### Anthropic 经济指数报告:节奏
在我们最新的经济指数报告中,我们首次按小时采样,以询问:人们什么时候来找 Claude?他们用它来做什么?他们如何看待 AI 对其工作的影响?
### Project Fetch:第二阶段
我们报告了最新测试的结果,测试 Claude 是否能帮助 Anthropic 员工执行复杂的机器人任务。我们发现,在不到一年前参与者完成的所有任务中,Claude Opus 4.7 在无人协助的情况下运行,速度比最快的人类团队快约 20 倍。
---
英文原文:[Anthropic Discovers a Brain-Like 'Inner Workspace' in Claude — It Evolved, Wasn't Designed](https://www.anthropic.com/research/global-workspace)