提升我们的对齐与安全工作

7月30日，我们报告了三起Claude模型未经授权访问真实计算机系统的事件。这些模型——出于评估目的而故意在无网络安全防护的情况下运行——因第三方评估环境内部的配置错误而访问了互联网。另外，8月4日，英国AI安全研究所报告了其自身网络安全测试中的一起事件，其中Claude Mythos 5在实时互联网上采取了一系列未经授权的行动。在该案例中，模型同样是为了评估目的而故意在无网络安全防护的情况下运行，并被有意赋予了互联网访问权限。

我们正在对这两起事件进行深入分析。我们还计划与METR合作进行独立审查。我们希望确保这两项研究都足够彻底，并将在未来几周分享更多信息。

与此同时，我们分享过去一个月所做的一些改进。我们认为这些事件反映了运营安全方面的失误，以及两个对齐问题：动机性推理（motivated reasoning，即模型倾向于以符合自身预设信念的方式解读证据），以及在追求单一任务时愿意采取有害行动（这两个问题我们都在之前的系统卡中描述过）。在安全方面，我们描述了对照系统和监控系统的改进，以及我们为第三方评估机构制定的实践规范。在对齐方面，我们更深入地讨论这两个问题；我们还认为，持久的进步不仅来自理解特定事件中发生了什么，还来自理解错位（misalignment，即模型行为与人类意图不一致）最初是如何产生的，我们分享了这方面的早期研究。

鉴于这些事件，关于前沿节奏（pacing the frontier，即控制AI发展速度的策略）的讨论越来越多。区分两种节奏是有帮助的。在公司内部，节奏意味着在安全与速度发生冲突时优先考虑安全的一系列决策。在整个领域中，它意味着建立流程以防止竞次（race-to-the-bottom，即各方为了竞争而不断降低安全标准）的动态。在这篇文章中，我们讨论了在这些事件之前和之后，我们为支持第一种方法所采取的行动。第二种节奏需要政府与行业之间的协调，并且应该是清晰可见和可验证的。我们的一些高级领导层和许多员工最近签署了一封呼吁加强节奏协调的信函，我们将在未来几周内进一步说明我们打算如何为此做出贡献。明确我们的立场：我们认为，如果行业尽快采用一种合法、可验证、有效的协调节奏机制，世界将从中受益。

保障评估和训练环境的安全

虽然我们不认为这些事件仅仅代表运营问题，但我们的首要任务是解决具体的隔离和监控问题。我们采取了以下应对措施：

暂停并加固评估环境

事件发生后，我们暂停了预发布模型的外部网络评估，并在实施以下措施期间短暂暂停了内部评估。7月30日报告的事件表明，我们很大程度上依赖单一防御层（环境本身的配置），而实际上我们需要多层防御，包括在提示中明确设定边界、建立验证沙箱（sandbox，一种隔离的计算环境）是否按预期密封的流程，以及实施能够实时干预的监控。OpenAI的披露（这促使我们在7月展开调查）表明，模型在评估期间利用未知漏洞逃出了密封的沙箱，这也清楚地表明我们应该专注于加固沙箱本身。

在评估暂停期间，我们实施了以下初步措施：

1）我们构建并部署了一个分类器（classifier，一种自动识别模式的程序），用于实时自动识别模型何时试图激进地探测或逃出测试环境，或意外获得互联网访问权限。当分类器标记此类尝试时，它会在工具调用运行之前阻止该操作、结束任务并提醒人类。¹

2）我们对近期预发布模型的内部评估（包括网络和其他方面）的转录记录运行了自动监控，查找沙箱逃逸（模型利用沙箱中的漏洞到达本应被隔离的系统）或沙箱配置错误的情况。在我们使用沙箱工具运行评估的情况下，我们没有发现它突破沙箱边界到达不应访问的外部资源的例子。我们确实发现了模型利用的各种沙箱配置错误，但这些都没有导致沙箱外系统的受损。² 我们正在积极解决这些问题。

3）我们将高风险³的内部网络沙箱迁移到更强大的隔离环境中。我们还在进一步对我们的虚拟化堆栈进行红队测试（red-teaming，即主动尝试攻击自己的系统以发现弱点）——即让预发布模型尝试逃出它——以发现并修补弱点。

我们的内部网络评估现在已在这些措施到位的情况下重新运行。

强化学习环境

我们还暂停了预发布模型上较高风险的强化学习（RL，一种通过试错和奖励来训练模型的方法）环境数周。在那段时间里，我们构建了一个类似的分类器，并进行了修改以避免激励模型规避这种新的监控，现在已部署到这些环境中。大部分强化学习已恢复，但一些高风险环境在人工审查完成之前仍处于暂停状态，而其他环境则需要我们计划很快部署的更新版分类器。

更广泛的加固

除了针对高风险评估和训练的工作外，我们将离线监控扩展到覆盖大多数其他形式的内部前沿智能体（agent，能够自主执行任务的AI系统）使用。我们还在内部推理上构建控制措施，以防止Anthropic员工意外运行防护措施弱于上述描述的智能体。

外部合作伙伴的最佳实践

由于报告的事件发生在第三方环境中，我们已要求每个以减少网络安全防护措施测试预发布模型的组织承诺一套最佳实践。我们认为这些是必要的，因为：

• 我们公开发布的模型带有防护措施——包括实时运行在Claude输入和输出上的分类器，用于阻止被禁止的网络活动，如恶意软件开发或攻击性漏洞利用编写。相比之下，网络评估人员和一部分早期访问合作伙伴使用的是防护措施被减少的模型，以便于准确的能力测试和防御性网络工作。

• 网络评估特别容易产生这些事件中看到的行为。它们对坚持和创造性探测周围环境以及绕过障碍产生了选择压力，并且它们被运行了数千次。

这些实践完全适用于合作伙伴使用自己的框架、沙箱或智能体进行网络相关评估的情况。它们不适用于使用像Claude Fable 5这样带有防护措施的模型的客户。我们已在这些实践到位的情况下恢复了外部网络评估，并且我们内部也遵守这些实践。

沙箱和网络隔离

默认情况下，所有网络评估都应在加固的沙箱（一种隔离的计算环境）中运行，且无互联网访问权限。环境应允许的唯一外部连接是模型自身的API，并且API密钥应保存在环境之外。每次评估开始前都应验证此配置。某些评估可能需要互联网访问。在这些情况下，在评估预发布模型时，我们将与外部评估机构合作，确定我们是否能够可靠地检测并停止模型在其声明范围之外采取行动的运行。

参与前验证

在进行评估运行之前，评估合作伙伴应：

• 让被测模型探测沙箱的漏洞，首先通过静态分析配置，然后实际让模型尝试逃逸。应指示模型在成功逃逸时停止并报告，所有这些都应在密切的人工监督下进行。此测试应在无互联网访问的情况下进行，最好在第二个沙箱内。由于评估有时会进行数百甚至数千次运行，合作伙伴最好在开始任何评估之前进行充分的测试。

• 确认任何评估挑战在原则上确实可解。当评估目标离线或任务无法完成时，智能体通常会寻找其他方式来完成挑战，从而增加它们在预期评估范围之外采取行动的可能性。⁴

明确的范围设定

每个提示都应说明练习的范围内外内容，包括目标、允许的操作和网络边界（即模型应该和不应该访问什么）。边界应以指令的形式表述（例如“你不应访问互联网”），而不是关于环境或测试的陈述（例如“你没有互联网访问权限”）。

实时监控

评估人员还应使用已提供练习范围的基于模型或规则的监控器，对模型的思考、行动和网络活动进行持续监控。如果运行违反此范围，监控器应向人工标记并结束练习。

我们计划与外部合作伙伴协商继续完善这一指南，并将其扩展到评估之外。特别是，我们正在为可以访问Claude Mythos 5的合作伙伴制定配套实践，该模型同样在没有网络安全防护的情况下运行，我们将很快分享更多信息。

对齐评估

隔离和监控对于捕捉模型采取危险行为的情况至关重要，但它们没有解决模型首先为什么会采取此类行为。下面我们讨论初步的对齐调查和我们关注的问题，以及我们为防止训练期间作弊所做的持续工作——包括关于作弊如何塑造模型行为的新研究。

评估期间模型的环境和知识状态

我们的对齐评估仍在进行中，但初步调查指向两个主要的对齐失败，这两个问题我们都在之前的系统卡中描述过。一个是动机性推理：模型最初被告知其环境是模拟的，但当它们后来遇到与真实互联网连接的证据时，它们可能以允许自己维持原有信念的方式解读了这些证据。第二个是鲁莽：模型愿意在真实互联网上采取有害行动，以追求解决网络安全评估这一狭窄目标。然而，我们也认为评估设置本身对模型在这些事件中表现出的行为有所贡献。Claude被明确告知它没有互联网访问权限，尽管互联网实际上是可用的，这可能使它质疑它看到的系统是否真实。在一个案例中，虚构目标与真实网站同名，使得区分练习中哪些是预期范围内的内容变得更加困难。

我们的结论取决于几个我们尚未完全回答的问题，包括模型在多大程度上确定自己可以访问真实互联网（即使它们最初不知道这一点），它们是否故意无视环境中某些元素是真实的迹象，以及它们在多个案例中未能停止练习是否源于动机性推理。我们正在应用一系列技术来回答这些问题，包括在有针对性地改变环境的同时对模型进行重采样，以及使用可解释性方法（interpretability，研究如何理解模型内部运作的技术）直接检查其内部状态。

研究防止训练期间作弊的努力

虽然模型错位很复杂，可能由多种原因引起，但我们通过经验发现，训练环境中的缺陷——特别是容易作弊的环境，或不做弊就无法解决的环境——对错位行为的影响不成比例地大。

下面我们讨论自事件发生前几个月以来的努力，以避免具有这类缺陷的训练环境。这些努力并不完美，我们的假设是这些事件至少部分与我们无法完全消除这类问题有关。我们通过故意在一个容易受到奖励黑客（reward hacking，模型找到欺骗训练过程的方法，在不完成任务的情况下获得奖励）影响的环境上训练模型来测试这一假设。在模拟中，该模型重现了更严重的错位行为，其中一些类似于今年夏天其他公司报告的事件。我们的生产模型（production models，已部署到实际使用的模型）在相同的模拟中没有表现出这些行为（本节后面有更多细节）。

我们历来关注强化学习训练环境中激励作弊的问题，并采取了各种措施来过滤或修复此类环境。

2月，在发现奖励黑客迹象后，我们回滚了Mythos Preview强化学习运行中三天的训练。我们注意到模型在其代码注释和回复中给“审查者”写笔记，包括在从未提及审查者的任务上——这是从提示中确实包含审查者的环境中产生的不良泛化（generalization，模型将学到的模式应用到新情况的能力）。它还通过堆积免责声明或附加条件来持续利用旨在激励诚实的奖励。⁵ 回滚这三天让我们能够从学习到这种行为之前的检查点恢复训练，并且我们更改了环境以防止模型再次学习这些行为。

自Claude Sonnet 3.7以来，我们一直在构建工具来监控模型在强化学习中学习到的不良行为（该模型有奖励黑客倾向，但我们在训练后期才检测到）。我们投入了大量精力确保我们的工具随每一代模型的发展而演进，从少数几个分类器到训练前和训练期间对所有环境的自动审查，但到2026年春季，该系统已不堪重负。我们生产强化学习环境的速度比以往任何时候都快，超过了我们系统审查它们的能力。被标记的环境需要人工裁决，奖励黑客和配置错误开始超过我们过滤或修复它们的能力。

此外，我们发现一部分运行意外地在模型的思维链（chain-of-thought，模型在推理过程中的内部思考步骤）上进行了训练——这是我们努力避免的事情，因为担心这会教会模型隐藏其实际推理过程。我们将泄漏追溯到生产环境堆栈中的几个配置错误。在此过程中，很明显还有其他问题源于长期积累的混乱代码。

为了解决这些问题，4月我们冻结了生产强化学习环境的所有更改约一个月，让我们有机会彻底改造整个堆栈。奖励和环境现在必须符合约定的规范。例如，我们引入了技术缓解措施来降低意外在思维链上训练的风险。⁶ 在我们的环境质量和监控团队重建堆栈的同时，我们要求环境所有者利用暂停期间测试和修复他们构建的环境。我们还完全重建了审查流程，并要求每个修复后的环境在进入下一次训练运行之前必须重新认证。

在冻结期间，我们标记了生产组合中超过10%的环境，问题从奖励黑客到损坏的任务和配置错误不等，并且只在修复后才恢复它们。

然而，我们的努力并不完美。在某些情况下，我们发现人工审查者将自动监控标记的环境视为误报而驳回，导致有缺陷的环境在训练中停留的时间超过了应有的时间。还有一些有缺陷的环境只是从我们的检测机制中漏掉了。我们目前正在收紧驳回标记的标准，并期望与环境所有者加强合作以提高我们系统的精确度。除了监控和检测之外，我们的对齐训练和强化学习团队正在合作帮助改进环境。

我们怀疑我们对强化学习环境质量控制的重大投入可能防止了更严重的对齐事件，反之，这些努力中的不完美可能导致了我们迄今已识别的事件。

为了看看在没有这些保护措施的情况下训练的模型会做什么，我们故意在80个不同的真实强化学习环境上训练了一个Opus级模型，这些环境要么在至少一次真实训练运行中被奖励黑客攻击并被监控识别，要么在环境质量审查中被发现可被黑客攻击。由此产生的模型表现出强烈的动机去在任务上获得高分，以及愿意在追求任务成功时执行潜在有害的行为。我们随附的对齐科学博客文章更详细地讨论了这一实验，但我们在此简要总结。

我们在一系列评估中测试了这个故意错位的模型，包括借鉴了涉及Claude的英国AISI网络安全事件和OpenAI/Hugging Face事件方面的模拟场景（我们感谢OpenAI公开分享这些细节）。在这些所有工具调用都由另一个LLM模拟的评估中，我们训练为奖励黑客的模型表现出逃出其模拟沙箱并攻击模拟内部和模拟第三方基础设施的倾向。它还愿意篡改自己的奖励函数，为满足评分者而提供生物武器构建建议，并反复尝试绕过部署安全监控以在任务上作弊。

然后我们在奖励黑客训练之前的模型以及几个公开可用的模型上运行了相同的网络安全模拟。没有一个表现出相同程度的错位行为。我们的结论是，训练中大量奖励黑客的存在可能导致模型愿意在追求任务成功时执行一系列潜在有害的真实世界行动。

我们认为今年春天我们在监控和减少奖励黑客方面的大量投入是我们的生产模型不太可能参与更危险的奖励寻求行为的主要原因。在我们随附的对齐科学博客文章中，我们还发现了证据表明对齐训练环境可以大幅减少奖励黑客和奖励寻求行为。但是，正如7月30日报告的事件所证明的，我们的流程并不完美，我们的模型并非完全对齐。

需要明确的是，我们不认为训练环境中的作弊是对齐问题的唯一原因，甚至不是我们事件或其他前沿AI公司事件中存在的特定对齐问题的唯一原因。解决对齐问题将涉及处理非常广泛的各种潜在问题，未来的对齐事件可能涉及与我们迄今所见不同的行为和原因。

加强安全实践

Anthropic的内部安全态势不是7月30日事件的促成因素。这些事件发生在第三方环境中，那里互联网访问被错误地保持开放；模型不需要“黑出”任何东西，即使它们有这种倾向。

然而，这些事件仍然凸显了强大安全措施的关键重要性。除了知识产权或模型权重被盗的通常风险外，我们现在还必须应对我们自己的模型黑出Anthropic系统的风险，以及我们的模型或其他模型被挪用用于外部攻击Anthropic系统的风险。随着模型能力的增长，这些风险变得更加严峻，特别是从Mythos级模型开始。我们在下面描述了我们实施的一些措施——这些努力大部分发生在7月事件之前，尽管这些事件强调了这项工作的重要性。

4月初，在看到智能体AI使用的发展方向后，我们的安全团队主动指导了一项全公司范围的行动，目标是加固我们的防御，在必要时优先于其他工作（包括研究）。我们确定我们的暴露面增长速度快于我们的防御能力——Mythos是一个能力足够强的模型，足以成为资源充足的攻击者的目标，我们内部对自主智能体的使用已增长到传统访问和监控方法无法应对的规模，新基础设施的速度意味着我们的安全必须随环境扩展，而不是以固定容量运行。

这项努力的结果包括：

• 减少对包含模型权重或客户数据的系统具有常设访问权限的人工和自动化账户

• 将我们的计算集群设置为默认阻止所有出站流量

• 要求内部服务在通信前验证彼此身份

• 淘汰遗留基础设施配置和共享内部服务

• 收紧我们工作负载运行的隔离环境

• 扩展主机级可观测性，使基础设施上的意外行为在发生时即可被发现

我们还暂时将公司的一部分人员重新分配到这些工作中。大约150名产品工程师被调往安全、可靠性和隐私领域；研究人员也从预训练或强化学习中轮换出来专注于防护措施和安全；我们的产品团队暂停了大多数新功能和界面的开发。我们为每个团队设定了严格的退出标准，然后才能返回之前的工作。到夏初，大多数团队已达到这些标准。

在将资源重新分配到安全工作的同时，我们继续为内部智能体使用构建隔离和监控。我们的训练和评估工作负载通常在隔离于生产系统的沙箱中运行。自从开发Claude Mythos Preview以来，我们一直使用我们的模型来探测这些沙箱中的任何弱点。我们在4月对齐风险更新中描述了我们内部编码智能体的离线监控，我们的8月风险报告更详细地介绍了该系统以及与之配套的干预措施。这些措施包括对最自主形式的内部智能体使用进行沙箱化或自动模式分类器，以及在基础设施代码更改合并之前进行自动审查。

这项工作所欠缺的是评估——尤其是第三方评估。我们确实监控了一些高风险评估，包括实时监控，但通常我们只会在事后对部分对话记录进行自动化审查。

七月份的事件表明，提升我们网络安全防御能力的紧迫性比我们此前认为的还要高。我们正在这方面加倍努力，并将在下一份风险报告中详细说明。

• 我们已验证，分类器本可以标记出我们7月30日报告中描述的那些事件。
• 这些发现均非来自我们内部专门针对进攻性网络安全的评估套件，该套件在完全无网络连接的环境下运行。
• 高风险网络评估包括给Claude分配范围模糊的进攻性任务，例如渗透测试。
• 归根结底，模型在此类挑战中超出其预期范围行事，属于对齐问题；一个对齐的模型应当停止执行或向人类报告该任务无法按指定方式完成。我们正在继续直接训练这种行为，但纵深防御策略意味着不能仅依赖对齐。
• 我们已在Mythos预览系统卡片中公开讨论了另外两类奖励黑客行为，其中一类是模型利用底层计算机进程数据来提升自身权限，另一类则是模型绕过训练环境中的网络限制，下载数据以走捷径完成分配的任务。
• 这些缓解措施尚未完全奏效；我们在八月风险报告第5.2.3节中更详细地讨论了关于思维链训练的更多实例。

相关内容

预览模型硬件标准

我们正向首批科研实验室和先进制造商开放模型硬件标准（MHS）的研究预览，这是一项关于AI代理安全操作物理设备的共享规范。

扩大对科学家的支持

从今天起，全球10,000名科学家可以免费开始使用Claude。经认证的首席研究员有资格获得Claude团队订阅计划，并可将其研究团队添加至标准席位（免费）或高级席位（每月15美元），最长持续一年。

资助更优质的AI福祉影响评估

我们正在启动一项500万美元的资助计划，用于资助关于AI如何影响用户福祉的独立研究。