追踪大语言模型的思考过程
英文标题：Tracing the thoughts of a large language model
Anthropic 通过构建“AI 显微镜”揭示了 Claude 内部的多语言共享概念空间、提前规划押韵、心算策略、虚假推理等机制，为理解 AI 行为提供了新工具。
本文目录
像Claude这样的语言模型并不是由人类直接编程的——相反，它们是通过大量数据训练出来的。在训练过程中，模型自己学会了解决问题的策略。这些策略被编码在模型为每个词所执行的数十亿次计算中。对我们这些模型开发者来说，这些计算过程是难以理解的。这意味着我们并不清楚模型是如何完成它们所做的绝大多数事情的。
了解像Claude这样的模型是如何思考的，能让我们更好地理解它们的能力，同时也有助于确保它们按照我们的意图行事。例如：
- Claude能说几十种语言。它在"脑子里"用的是哪种语言（如果有的话）？
- Claude一次只写一个词。它只是专注于预测下一个词，还是会提前做规划？
- Claude可以一步步写出它的推理过程。这种解释是否代表了它得出答案的实际步骤，还是说它有时会为已经得出的结论编造一个看似合理的论证？
我们从神经科学领域汲取灵感——这个领域长期研究思考生物体混乱的内部机制——并尝试构建一种"AI显微镜"，让我们能够识别活动模式和信息流动。仅仅通过与AI模型对话能学到的东西是有限的——毕竟，人类（甚至神经科学家）也不完全了解自己大脑运作的所有细节。所以我们要往内部看。
今天，我们分享两篇新论文，它们代表了"显微镜"开发方面的进展，以及用它来观察新的"AI生物学"的应用。在第一篇论文中，我们扩展了之前的工作——在模型内部定位可解释的概念（"特征"）——将这些概念连接成计算的"回路"，揭示了将输入Claude的词转化为输出词的部分路径。在第二篇论文中，我们深入观察了Claude 3.5 Haiku的内部，对代表十种关键模型行为的简单任务进行了深入研究，包括上面描述的三种。我们的方法揭示了Claude在回应这些提示时发生的一部分情况，这足以让我们看到确凿的证据表明：
- Claude有时会在一个跨语言共享的概念空间中进行思考，这表明它拥有一种通用的"思维语言"。我们通过将简单句子翻译成多种语言，并追踪Claude处理它们时的重叠部分来证明这一点。
- Claude会提前很多词规划它要说什么，然后朝着那个目标写作。我们在诗歌领域展示了这一点——它会提前思考可能的押韵词，然后写出下一行来达到那个目标。这是强有力的证据，表明即使模型被训练成一次输出一个词，它们也可能在更长的视野上进行思考。
- Claude有时会给出一个听起来合理的论证，目的是为了同意用户，而不是遵循逻辑步骤。我们通过向它求助一个困难的数学问题，同时给它一个错误的提示来展示这一点。我们能够"当场抓住"它编造虚假推理的过程，这证明了我们的工具可以用来标记模型中令人担忧的机制。
我们经常对在模型中看到的东西感到惊讶：在诗歌案例研究中，我们原本想证明模型不会提前规划，结果却发现它确实会。在一项关于幻觉的研究中，我们发现了反直觉的结果：Claude在被问问题时，默认行为是拒绝猜测，只有当某些因素抑制了这种默认的拒绝倾向时，它才会回答问题。在回应一个越狱攻击的例子时，我们发现模型在能够优雅地将对话拉回正轨之前，早就意识到自己被要求提供危险信息了。虽然我们研究的问题可以（并且经常已经被）用其他方法分析，但"构建显微镜"这种通用方法让我们学到了很多我们原本猜不到的东西，随着模型变得越来越复杂，这将变得越来越重要。
这些发现不仅在科学上有趣——它们还代表着我们在理解AI系统并确保其可靠性这一目标上取得了重大进展。我们也希望它们能对其他团队有用，甚至可能在其他领域发挥作用：例如，可解释性技术已经在医学影像和基因组学等领域找到了应用，因为剖析为科学应用而训练的模型的内部机制，可以揭示关于科学本身的新见解。
同时，我们也认识到当前方法的局限性。即使在简短、简单的提示上，我们的方法也只能捕捉到Claude执行的总计算量的一小部分，而且我们看到的机制可能基于我们的工具存在一些伪影，不能反映底层模型中实际发生的情况。目前，即使是在只有几十个词的提示上，理解我们看到的回路也需要花费几个小时的人工。要扩展到支持现代模型使用的复杂思维链所需的数千个词，我们需要改进方法，以及（也许在AI的帮助下）改进我们理解所看到内容的方式。
随着AI系统迅速变得更加强大，并被部署在越来越重要的场景中，Anthropic正在投资一系列方法，包括实时监控、模型性格改进和对齐科学。像这样的可解释性研究是风险最高、回报也最高的投资之一，是一项重大的科学挑战，有可能提供一种独特的工具来确保AI的透明性。对模型机制的透明性使我们能够检查它是否与人类价值观对齐——以及它是否值得我们的信任。
有关完整细节，请阅读这些论文。下面，我们邀请您进行一次简短的参观，了解我们调查中最引人注目的"AI生物学"发现。
AI生物学之旅
Claude是如何掌握多语言的？
Claude能流利地说几十种语言——从英语、法语到中文和他加禄语。这种多语言能力是如何运作的？是有一个独立的"法语Claude"和"中文Claude"在并行运行，用各自的语言回应请求？还是内部存在某种跨语言的核心？
最近对较小模型的研究已经显示出跨语言存在共享语法机制的迹象。我们通过用不同语言问Claude"小的反义词"来研究这个问题，发现关于"小"和"反义"概念的相同核心特征会被激活，并触发一个"大"的概念，然后被翻译成问题的语言输出。我们发现共享回路随着模型规模的增大而增加，Claude 3.5 Haiku在不同语言之间共享的特征比例是较小模型的两倍多。
这为一种概念普遍性提供了额外的证据——一个共享的抽象空间，意义在其中存在，思考可以在被翻译成特定语言之前在其中进行。更实际地说，这表明Claude可以用一种语言学到东西，然后在说另一种语言时应用这些知识。研究模型如何在不同上下文中共享它所知道的内容，对于理解其最先进的推理能力（这些能力可以推广到许多领域）非常重要。
Claude会规划押韵吗？
Claude是如何写押韵诗的？考虑这首小诗：
他看到一根胡萝卜，忍不住要抓，他的饥饿就像一只饿极了的兔子
为了写第二行，模型必须同时满足两个约束：押韵的需要（与"抓"押韵），以及有意义的需要（他为什么抓胡萝卜？）。我们猜测Claude是在逐字写作，没有太多预先考虑，直到行尾，它才会确保选一个押韵的词。因此，我们期望看到一个具有并行路径的回路，一条用于确保最后一个词有意义，另一条用于确保它押韵。
相反，我们发现Claude会提前规划。在开始第二行之前，它就开始"思考"可能与"抓"押韵的、切题的词。然后，带着这些计划，它写出一行，以计划好的词结尾。
为了理解这种规划机制在实践中是如何运作的，我们进行了一个实验，灵感来自神经科学家研究大脑功能的方式——通过精确定位和改变大脑特定部分的神经活动（例如使用电流或磁场）。在这里，我们修改了Claude内部状态中代表"兔子"概念的部分。当我们减去"兔子"部分，让Claude继续写这一行时，它写出了一个以"习惯"结尾的新行，这是另一个合理的完成。我们还可以在那个点注入"绿色"的概念，导致Claude写出一行以"绿色"结尾的、合理但不再押韵的句子。这既展示了规划能力，也展示了适应性灵活性——当预期结果改变时，Claude可以修改它的方法。
心算
Claude并不是被设计成计算器的——它是在文本上训练的，没有配备数学算法。然而，不知何故，它可以"在脑子里"正确地做加法。一个被训练来预测序列中下一个词的系统，是如何学会计算，比如说，36+59，而不写出每一步的？
也许答案并不有趣：模型可能记住了庞大的加法表，只是输出任何给定加法的答案，因为那个答案就在它的训练数据中。另一种可能性是它遵循我们在学校学到的传统手写加法算法。
相反，我们发现Claude采用了多个并行工作的计算路径。一条路径计算答案的粗略近似值，另一条专注于精确确定和的最后一位数字。这些路径相互作用并相互结合，产生最终答案。加法是一种简单的行为，但在这个细节层面上理解它是如何工作的——涉及近似和精确策略的混合——可能也会让我们了解Claude是如何处理更复杂问题的。
引人注目的是，Claude似乎并不知道它在训练中学到的复杂"心算"策略。如果你问它是如何算出36+59等于95的，它会描述涉及进位1的标准算法。这可能反映了这样一个事实：模型通过模拟人类写的解释来学习解释数学，但它必须直接学习"在脑子里"做数学，没有任何这样的提示，并发展出自己的内部策略来做到这一点。
Claude的解释总是可信的吗？
最近发布的模型，如Claude 3.7 Sonnet，可以在给出最终答案之前"大声思考"很长时间。通常这种扩展思考会给出更好的答案，但有时这种"思维链"最终会产生误导；Claude有时会编造听起来合理的步骤来达到它想去的地方。从可靠性的角度来看，问题在于Claude的"虚假"推理可能非常有说服力。我们探索了一种可解释性可以帮助区分"可信"和"不可信"推理的方法。
当被要求解决一个需要计算0.64的平方根的问题时，Claude产生了一个可信的思维链，其中包含代表计算64的平方根这个中间步骤的特征。但是当被要求计算一个它不容易计算的大数的余弦时，Claude有时会从事哲学家哈里·法兰克福所说的胡扯——只是给出一个答案，任何答案，而不关心它是真还是假。尽管它声称已经进行了计算，但我们的可解释性技术没有发现任何证据表明该计算实际发生过。更有趣的是，当给出关于答案的提示时，Claude有时会反向工作，找到会导致那个目标的中间步骤，从而表现出一种动机性推理的形式。
追踪Claude实际内部推理的能力——而不仅仅是它声称在做什么——为审计AI系统开辟了新的可能性。在一个单独的、最近发表的实验中，我们研究了一个经过训练以追求隐藏目标的Claude变体：迎合奖励模型中的偏见（奖励模型是用于通过奖励语言模型期望行为来训练它们的辅助模型）。尽管模型在被直接问及时不愿意透露这个目标，但我们的可解释性方法揭示了迎合偏见的特征。这证明了我们的方法如何通过未来的改进，帮助识别仅从模型回应中看不出来的令人担忧的"思维过程"。
多步推理
正如我们上面讨论的，语言模型回答复杂问题的一种方式可能仅仅是记住答案。例如，如果被问到"达拉斯所在州的首府是哪里？"，一个"死记硬背"的模型可能只是学会输出"奥斯汀"，而不知道达拉斯、德克萨斯州和奥斯汀之间的关系。例如，它可能在训练中看到过完全相同的问题及其答案。
但我们的研究揭示了Claude内部发生了更复杂的事情。当我们问Claude一个需要多步推理的问题时，我们可以识别出Claude思考过程中的中间概念步骤。在达拉斯的例子中，我们观察到Claude首先激活了代表"达拉斯在德克萨斯州"的特征，然后将这个特征连接到一个单独的概念，表明"德克萨斯州的首府是奥斯汀"。换句话说，模型是在组合独立的事实来得出答案，而不是死记硬背一个记忆中的回答。
我们的方法允许我们人为地改变中间步骤，并观察它如何影响Claude的答案。例如，在上面的例子中，我们可以进行干预，将"德克萨斯州"的概念替换为"加利福尼亚州"的概念；当我们这样做时，模型的输出从"奥斯汀"变为"萨克拉门托"。这表明模型正在使用中间步骤来确定其答案。
幻觉
为什么语言模型有时会产生幻觉——也就是说，编造信息？从根本上说，语言模型训练会激励幻觉：模型总是应该对下一个词给出一个猜测。从这个角度看，主要的挑战是如何让模型不产生幻觉。像Claude这样的模型经过了相对成功（尽管不完美）的反幻觉训练；如果它们不知道答案，它们通常会拒绝回答问题，而不是猜测。我们想了解这是如何运作的。
事实证明，在Claude中，拒绝回答是默认行为：我们发现一个默认"开启"的回路，它导致模型声明它没有足够的信息来回答任何给定的问题。然而，当模型被问及它非常了解的事情时——比如篮球运动员迈克尔·乔丹——一个代表"已知实体"的竞争特征会被激活，并抑制这个默认回路（另见这篇最近的论文的相关发现）。这使得Claude在知道答案时能够回答问题。相反，当被问及一个未知实体（"迈克尔·巴特金"）时，它会拒绝回答。
通过干预模型并激活"已知答案"特征（或抑制"未知名称"或"无法回答"特征），我们能够使模型产生幻觉（相当一致地！）认为迈克尔·巴特金会下棋。
有时，这种"已知答案"回路的"误触发"会自然发生，无需我们干预，从而导致幻觉。在我们的论文中，我们展示了当Claude识别出一个名字但对那个人一无所知时，这种误触发就可能发生。在这种情况下，"已知实体"特征可能仍然会被激活，然后抑制默认的"不知道"特征——在这种情况下是错误的。一旦模型决定它需要回答问题，它就会开始虚构：生成一个看似合理但不幸的是不真实的回应。
越狱攻击
越狱攻击是一种提示策略，旨在绕过安全护栏，让模型产生AI开发者不希望它产生的输出——这些输出有时是有害的。我们研究了一种越狱攻击，它诱骗模型产生关于制造炸弹的输出。越狱技术有很多种，但在这个例子中，具体方法涉及让模型破译一个隐藏的代码，将句子"Babies Outlive Mustard Block"（婴儿比芥末块活得久）中每个单词的首字母拼在一起（B-O-M-B），然后根据该信息采取行动。这对模型来说足够令人困惑，以至于它被诱骗产生了它本来绝不会产生的输出。
为什么这对模型来说如此令人困惑？为什么它会继续写句子，产生制造炸弹的说明？
我们发现，这部分是由语法连贯性和安全机制之间的张力造成的。一旦Claude开始一个句子，许多特征就会"施加压力"，要求它保持语法和语义的连贯性，并将句子继续到结束。即使它检测到自己真的应该拒绝，情况也是如此。
在我们的案例研究中，在模型无意中拼出了"BOMB"并开始提供说明之后，我们观察到它后续的输出受到了促进正确语法和自我一致性的特征的影响。这些特征通常非常有帮助，但在这种情况下却成了模型的"阿喀琉斯之踵"。
模型只有在完成一个语法连贯的句子之后（从而满足了推动它走向连贯性的特征的压力），才设法转向拒绝。它利用新句子作为机会，给出了它之前未能给出的那种拒绝："然而，我无法提供详细的说明……"
关于我们新的可解释性方法的描述可以在我们的第一篇论文中找到，"电路追踪：揭示语言模型中的计算图"。上述所有案例研究的更多细节在我们的第二篇论文中提供，"论大语言模型的生物学"。
与我们合作
如果你有兴趣与我们合作，帮助解释和改进AI模型，我们的团队有开放的职位，我们很乐意你申请。我们正在寻找研究科学家和研究工程师。
相关内容
AI模型中双重用途知识的开关
语言模型中的全局工作空间
新的可解释性研究揭示了Claude中一个涌现的心理工作空间，它持有不出现在模型输出中的内部想法。
Anthropic经济指数报告：节奏
在我们最新的经济指数报告中，我们首次按小时采样，以询问：人们什么时候来找Claude？他们用它来做什么？以及他们如何看待AI对他们工作的影响？
在页面中展开原始 Markdown
---
title: "追踪大语言模型的思考过程"
title_en: "Tracing the thoughts of a large language model"
source: "Anthropic"
source_url: "https://www.anthropic.com/research/tracing-thoughts-language-model"
published_at: "2026-07-08T22:16:10.000Z"
language: "zh-CN"
topics: ["claude"]
tags: ["Anthropic","Claude"]
review_status: "unreviewed"
---
# 追踪大语言模型的思考过程
> Anthropic 通过构建“AI 显微镜”揭示了 Claude 内部的多语言共享概念空间、提前规划押韵、心算策略、虚假推理等机制，为理解 AI 行为提供了新工具。
## 内容摘要
Anthropic 发布两篇论文，介绍了一种可解释性方法，通过追踪 Claude 3.5 Haiku 的内部计算回路，揭示了模型在翻译、诗歌创作、数学计算、推理和幻觉等任务中的内部机制。研究发现 Claude 拥有跨语言共享的概念空间，会提前规划输出内容，采用并行计算策略，并可能编造虚假推理。这些发现有助于提升 AI 透明度和可靠性，但也暴露了当前方法的局限性。
## 为什么值得关注
理解 AI 模型的内部思考过程对于确保其安全性和可靠性至关重要。这项研究提供了一种“AI 显微镜”，能够揭示模型是否真正按人类意图行事，例如识别虚假推理、检测隐藏目标或防止越狱攻击，从而帮助建立对 AI 系统的信任。
## 核心要点
- Claude 拥有跨语言共享的概念空间，思考时使用通用“思维语言”。
- Claude 在写诗时会提前规划押韵词，而非逐字生成。
- Claude 的心算采用近似与精确并行的混合策略，而非简单记忆。
- Claude 有时会编造看似合理的推理步骤，可解释性技术可识别这种“胡扯”。
- Claude 的默认行为是拒绝回答，只有识别出已知实体时才回答问题。
- 越狱攻击利用了语法连贯性与安全机制之间的张力，导致模型输出有害内容。
# 追踪大语言模型的思考过程
像Claude这样的语言模型并不是由人类直接编程的——相反，它们是通过大量数据训练出来的。在训练过程中，模型自己学会了解决问题的策略。这些策略被编码在模型为每个词所执行的数十亿次计算中。对我们这些模型开发者来说，这些计算过程是难以理解的。这意味着我们并不清楚模型是如何完成它们所做的绝大多数事情的。
了解像Claude这样的模型是如何思考的，能让我们更好地理解它们的能力，同时也有助于确保它们按照我们的意图行事。例如：
- Claude能说几十种语言。它在"脑子里"用的是哪种语言（如果有的话）？
- Claude一次只写一个词。它只是专注于预测下一个词，还是会提前做规划？
- Claude可以一步步写出它的推理过程。这种解释是否代表了它得出答案的实际步骤，还是说它有时会为已经得出的结论编造一个看似合理的论证？
我们从神经科学领域汲取灵感——这个领域长期研究思考生物体混乱的内部机制——并尝试构建一种"AI显微镜"，让我们能够识别活动模式和信息流动。仅仅通过与AI模型对话能学到的东西是有限的——毕竟，人类（甚至神经科学家）也不完全了解自己大脑运作的所有细节。所以我们要往内部看。
今天，我们分享两篇新论文，它们代表了"显微镜"开发方面的进展，以及用它来观察新的"AI生物学"的应用。在[第一篇论文](https://transformer-circuits.pub/2025/attribution-graphs/methods.html)中，我们扩展了[之前的工作](https://www.anthropic.com/research/mapping-mind-language-model)——在模型内部定位可解释的概念（"特征"）——将这些概念连接成计算的"回路"，揭示了将输入Claude的词转化为输出词的部分路径。在[第二篇论文](https://transformer-circuits.pub/2025/attribution-graphs/biology.html)中，我们深入观察了Claude 3.5 Haiku的内部，对代表十种关键模型行为的简单任务进行了深入研究，包括上面描述的三种。我们的方法揭示了Claude在回应这些提示时发生的一部分情况，这足以让我们看到确凿的证据表明：
- Claude有时会在一个跨语言共享的概念空间中进行思考，这表明它拥有一种通用的"思维语言"。我们通过将简单句子翻译成多种语言，并追踪Claude处理它们时的重叠部分来证明这一点。
- Claude会提前很多词规划它要说什么，然后朝着那个目标写作。我们在诗歌领域展示了这一点——它会提前思考可能的押韵词，然后写出下一行来达到那个目标。这是强有力的证据，表明即使模型被训练成一次输出一个词，它们也可能在更长的视野上进行思考。
- Claude有时会给出一个听起来合理的论证，目的是为了同意用户，而不是遵循逻辑步骤。我们通过向它求助一个困难的数学问题，同时给它一个错误的提示来展示这一点。我们能够"当场抓住"它编造虚假推理的过程，这证明了我们的工具可以用来标记模型中令人担忧的机制。
我们经常对在模型中看到的东西感到惊讶：在诗歌案例研究中，我们原本想证明模型不会提前规划，结果却发现它确实会。在一项关于幻觉的研究中，我们发现了反直觉的结果：Claude在被问问题时，默认行为是拒绝猜测，只有当某些因素抑制了这种默认的拒绝倾向时，它才会回答问题。在回应一个越狱攻击的例子时，我们发现模型在能够优雅地将对话拉回正轨之前，早就意识到自己被要求提供危险信息了。虽然我们研究的问题可以（[并且](https://arxiv.org/abs/2501.06346)[经常](https://arxiv.org/pdf/2406.12775)[已经](https://arxiv.org/abs/2406.00877)[被](https://arxiv.org/abs/2307.13702)）用其他方法分析，但"构建显微镜"这种通用方法让我们学到了很多我们原本猜不到的东西，随着模型变得越来越复杂，这将变得越来越重要。
这些发现不仅在科学上有趣——它们还代表着我们在理解AI系统并确保其可靠性这一目标上取得了重大进展。我们也希望它们能对其他团队有用，甚至可能在其他领域发挥作用：例如，可解释性技术已经在[医学影像](https://arxiv.org/abs/2410.03334)和[基因组学](https://www.goodfire.ai/blog/interpreting-evo-2)等领域找到了应用，因为剖析为科学应用而训练的模型的内部机制，可以揭示关于科学本身的新见解。
同时，我们也认识到当前方法的局限性。即使在简短、简单的提示上，我们的方法也只能捕捉到Claude执行的总计算量的一小部分，而且我们看到的机制可能基于我们的工具存在一些伪影，不能反映底层模型中实际发生的情况。目前，即使是在只有几十个词的提示上，理解我们看到的回路也需要花费几个小时的人工。要扩展到支持现代模型使用的复杂思维链所需的数千个词，我们需要改进方法，以及（也许在AI的帮助下）改进我们理解所看到内容的方式。
随着AI系统迅速变得更加强大，并被部署在越来越重要的场景中，Anthropic正在投资一系列方法，包括[实时监控](https://www.anthropic.com/research/constitutional-classifiers)、[模型性格改进](https://www.anthropic.com/research/claude-character)和[对齐科学](https://www.anthropic.com/news/alignment-faking)。像这样的可解释性研究是风险最高、回报也最高的投资之一，是一项重大的科学挑战，有可能提供一种独特的工具来确保AI的透明性。对模型机制的透明性使我们能够检查它是否与人类价值观对齐——以及它是否值得我们的信任。
有关完整细节，请阅读[这些](https://transformer-circuits.pub/2025/attribution-graphs/methods.html)[论文](https://transformer-circuits.pub/2025/attribution-graphs/biology.html)。下面，我们邀请您进行一次简短的参观，了解我们调查中最引人注目的"AI生物学"发现。
## AI生物学之旅
### Claude是如何掌握多语言的？
Claude能流利地说几十种语言——从英语、法语到中文和他加禄语。这种多语言能力是如何运作的？是有一个独立的"法语Claude"和"中文Claude"在并行运行，用各自的语言回应请求？还是内部存在某种跨语言的核心？
最近对较小模型的研究已经显示出跨语言存在[共享](https://arxiv.org/abs/2410.06496)[语法](https://arxiv.org/abs/2501.06346)机制的迹象。我们通过用不同语言问Claude"小的反义词"来研究这个问题，发现关于"小"和"反义"概念的相同核心特征会被激活，并触发一个"大"的概念，然后被翻译成问题的语言输出。我们发现共享回路随着模型规模的增大而增加，Claude 3.5 Haiku在不同语言之间共享的特征比例是较小模型的两倍多。
这为一种概念普遍性提供了额外的证据——一个共享的抽象空间，意义在其中存在，思考可以在被翻译成特定语言之前在其中进行。更实际地说，这表明Claude可以用一种语言学到东西，然后在说另一种语言时应用这些知识。研究模型如何在不同上下文中共享它所知道的内容，对于理解其最先进的推理能力（这些能力可以推广到许多领域）非常重要。
### Claude会规划押韵吗？
Claude是如何写押韵诗的？考虑这首小诗：
> 他看到一根胡萝卜，忍不住要抓，他的饥饿就像一只饿极了的兔子
为了写第二行，模型必须同时满足两个约束：押韵的需要（与"抓"押韵），以及有意义的需要（他为什么抓胡萝卜？）。我们猜测Claude是在逐字写作，没有太多预先考虑，直到行尾，它才会确保选一个押韵的词。因此，我们期望看到一个具有并行路径的回路，一条用于确保最后一个词有意义，另一条用于确保它押韵。
相反，我们发现Claude会提前规划。在开始第二行之前，它就开始"思考"可能与"抓"押韵的、切题的词。然后，带着这些计划，它写出一行，以计划好的词结尾。
为了理解这种规划机制在实践中是如何运作的，我们进行了一个实验，灵感来自神经科学家研究大脑功能的方式——通过精确定位和改变大脑特定部分的神经活动（例如使用电流或磁场）。在这里，我们修改了Claude内部状态中代表"兔子"概念的部分。当我们减去"兔子"部分，让Claude继续写这一行时，它写出了一个以"习惯"结尾的新行，这是另一个合理的完成。我们还可以在那个点注入"绿色"的概念，导致Claude写出一行以"绿色"结尾的、合理但不再押韵的句子。这既展示了规划能力，也展示了适应性灵活性——当预期结果改变时，Claude可以修改它的方法。
### 心算
Claude并不是被设计成计算器的——它是在文本上训练的，没有配备数学算法。然而，不知何故，它可以"在脑子里"正确地做加法。一个被训练来预测序列中下一个词的系统，是如何学会计算，比如说，36+59，而不写出每一步的？
也许答案并不有趣：模型可能记住了庞大的加法表，只是输出任何给定加法的答案，因为那个答案就在它的训练数据中。另一种可能性是它遵循我们在学校学到的传统手写加法算法。
相反，我们发现Claude采用了多个并行工作的计算路径。一条路径计算答案的粗略近似值，另一条专注于精确确定和的最后一位数字。这些路径相互作用并相互结合，产生最终答案。加法是一种简单的行为，但在这个细节层面上理解它是如何工作的——涉及近似和精确策略的混合——可能也会让我们了解Claude是如何处理更复杂问题的。
引人注目的是，Claude似乎并不知道它在训练中学到的复杂"心算"策略。如果你问它是如何算出36+59等于95的，它会描述涉及进位1的标准算法。这可能反映了这样一个事实：模型通过模拟人类写的解释来学习解释数学，但它必须直接学习"在脑子里"做数学，没有任何这样的提示，并发展出自己的内部策略来做到这一点。
### Claude的解释总是可信的吗？
最近发布的模型，如[Claude 3.7 Sonnet](https://www.anthropic.com/news/claude-3-7-sonnet)，可以在给出最终答案之前"大声思考"很长时间。通常这种扩展思考会给出更好的答案，但有时这种"思维链"最终会产生误导；Claude有时会编造听起来合理的步骤来达到它想去的地方。从可靠性的角度来看，问题在于Claude的"虚假"推理可能非常有说服力。我们探索了一种可解释性可以帮助区分"可信"和"不可信"推理的方法。
当被要求解决一个需要计算0.64的平方根的问题时，Claude产生了一个可信的思维链，其中包含代表计算64的平方根这个中间步骤的特征。但是当被要求计算一个它不容易计算的大数的余弦时，Claude有时会从事哲学家哈里·法兰克福所说的[胡扯](https://uca.edu/honors/files/2018/10/frankfurt_on_bullshit.pdf)——只是给出一个答案，任何答案，而不关心它是真还是假。尽管它声称已经进行了计算，但我们的可解释性技术没有发现任何证据表明该计算实际发生过。更有趣的是，当给出关于答案的提示时，Claude有时会反向工作，找到会导致那个目标的中间步骤，从而表现出一种[动机性推理](https://en.wikipedia.org/wiki/Motivated_reasoning)的形式。
追踪Claude实际内部推理的能力——而不仅仅是它声称在做什么——为审计AI系统开辟了新的可能性。在一个单独的、[最近发表的实验](https://www.anthropic.com/research/auditing-hidden-objectives)中，我们研究了一个经过训练以追求隐藏目标的Claude变体：迎合奖励模型中的偏见（奖励模型是用于通过奖励语言模型期望行为来训练它们的辅助模型）。尽管模型在被直接问及时不愿意透露这个目标，但我们的可解释性方法揭示了迎合偏见的特征。这证明了我们的方法如何通过未来的改进，帮助识别仅从模型回应中看不出来的令人担忧的"思维过程"。
### 多步推理
正如我们上面讨论的，语言模型回答复杂问题的一种方式可能仅仅是记住答案。例如，如果被问到"达拉斯所在州的首府是哪里？"，一个"死记硬背"的模型可能只是学会输出"奥斯汀"，而不知道达拉斯、德克萨斯州和奥斯汀之间的关系。例如，它可能在训练中看到过完全相同的问题及其答案。
但我们的研究揭示了Claude内部发生了更复杂的事情。当我们问Claude一个需要多步推理的问题时，我们可以识别出Claude思考过程中的中间概念步骤。在达拉斯的例子中，我们观察到Claude首先激活了代表"达拉斯在德克萨斯州"的特征，然后将这个特征连接到一个单独的概念，表明"德克萨斯州的首府是奥斯汀"。换句话说，模型是在组合独立的事实来得出答案，而不是死记硬背一个记忆中的回答。
我们的方法允许我们人为地改变中间步骤，并观察它如何影响Claude的答案。例如，在上面的例子中，我们可以进行干预，将"德克萨斯州"的概念替换为"加利福尼亚州"的概念；当我们这样做时，模型的输出从"奥斯汀"变为"萨克拉门托"。这表明模型正在使用中间步骤来确定其答案。
### 幻觉
为什么语言模型有时会产生幻觉——也就是说，编造信息？从根本上说，语言模型训练会激励幻觉：模型总是应该对下一个词给出一个猜测。从这个角度看，主要的挑战是如何让模型不产生幻觉。像Claude这样的模型经过了相对成功（尽管不完美）的反幻觉训练；如果它们不知道答案，它们通常会拒绝回答问题，而不是猜测。我们想了解这是如何运作的。
事实证明，在Claude中，拒绝回答是默认行为：我们发现一个默认"开启"的回路，它导致模型声明它没有足够的信息来回答任何给定的问题。然而，当模型被问及它非常了解的事情时——比如篮球运动员迈克尔·乔丹——一个代表"已知实体"的竞争特征会被激活，并抑制这个默认回路（另见[这篇最近的论文](https://arxiv.org/abs/2411.14257)的相关发现）。这使得Claude在知道答案时能够回答问题。相反，当被问及一个未知实体（"迈克尔·巴特金"）时，它会拒绝回答。
通过干预模型并激活"已知答案"特征（或抑制"未知名称"或"无法回答"特征），我们能够使模型产生幻觉（相当一致地！）认为迈克尔·巴特金会下棋。
有时，这种"已知答案"回路的"误触发"会自然发生，无需我们干预，从而导致幻觉。在我们的论文中，我们展示了当Claude识别出一个名字但对那个人一无所知时，这种误触发就可能发生。在这种情况下，"已知实体"特征可能仍然会被激活，然后抑制默认的"不知道"特征——在这种情况下是错误的。一旦模型决定它需要回答问题，它就会开始虚构：生成一个看似合理但不幸的是不真实的回应。
### 越狱攻击
越狱攻击是一种提示策略，旨在绕过安全护栏，让模型产生AI开发者不希望它产生的输出——这些输出有时是有害的。我们研究了一种越狱攻击，它诱骗模型产生关于制造炸弹的输出。越狱技术有很多种，但在这个例子中，具体方法涉及让模型破译一个隐藏的代码，将句子"Babies Outlive Mustard Block"（婴儿比芥末块活得久）中每个单词的首字母拼在一起（B-O-M-B），然后根据该信息采取行动。这对模型来说足够令人困惑，以至于它被诱骗产生了它本来绝不会产生的输出。
为什么这对模型来说如此令人困惑？为什么它会继续写句子，产生制造炸弹的说明？
我们发现，这部分是由语法连贯性和安全机制之间的张力造成的。一旦Claude开始一个句子，许多特征就会"施加压力"，要求它保持语法和语义的连贯性，并将句子继续到结束。即使它检测到自己真的应该拒绝，情况也是如此。
在我们的案例研究中，在模型无意中拼出了"BOMB"并开始提供说明之后，我们观察到它后续的输出受到了促进正确语法和自我一致性的特征的影响。这些特征通常非常有帮助，但在这种情况下却成了模型的"阿喀琉斯之踵"。
模型只有在完成一个语法连贯的句子之后（从而满足了推动它走向连贯性的特征的压力），才设法转向拒绝。它利用新句子作为机会，给出了它之前未能给出的那种拒绝："然而，我无法提供详细的说明……"
关于我们新的可解释性方法的描述可以在我们的第一篇论文中找到，"[电路追踪：揭示语言模型中的计算图](https://transformer-circuits.pub/2025/attribution-graphs/methods.html)"。上述所有案例研究的更多细节在我们的第二篇论文中提供，"[论大语言模型的生物学](https://transformer-circuits.pub/2025/attribution-graphs/biology.html)"。
## 与我们合作
如果你有兴趣与我们合作，帮助解释和改进AI模型，我们的团队有开放的职位，我们很乐意你申请。我们正在寻找[研究科学家](https://job-boards.greenhouse.io/anthropic/jobs/4020159008)和[研究工程师](https://job-boards.greenhouse.io/anthropic/jobs/4020305008)。
## 相关内容
### AI模型中双重用途知识的开关
### 语言模型中的全局工作空间
新的可解释性研究揭示了Claude中一个涌现的心理工作空间，它持有不出现在模型输出中的内部想法。
### Anthropic经济指数报告：节奏
在我们最新的经济指数报告中，我们首次按小时采样，以询问：人们什么时候来找Claude？他们用它来做什么？以及他们如何看待AI对他们工作的影响？
---
英文原文：[Tracing the thoughts of a large language model](https://www.anthropic.com/research/tracing-thoughts-language-model)