关于 AI 安全的核心理念：何时、为何、何事以及如何

---
title: "关于 AI 安全的核心理念：何时、为何、何事以及如何"
title_en: "Anthropic's core views on AI safety"
source: "Anthropic"
source_url: "https://www.anthropic.com/news/core-views-on-ai-safety"
published_at: "2026-07-08T22:23:46.000Z"
language: "zh-CN"
topics: ["claude"]
tags: ["Anthropic","Claude"]
review_status: "unreviewed"
---

# 关于 AI 安全的核心理念：何时、为何、何事以及如何

> Anthropic 认为 AI 可能在未来十年内产生堪比工业革命的影响，但安全风险巨大，需要立即采取经验驱动的多方位研究。

## 内容摘要

Anthropic 在本文中阐述了其 AI 安全核心理念：AI 的快速发展（基于计算量指数增长和缩放定律）可能导致变革性 AI 系统在未来十年内出现，但当前无法确保这些系统始终对齐人类价值观。风险包括技术性对齐问题和结构性破坏。Anthropic 采取经验主义方法，通过组合投资（乐观、中间、悲观场景）来应对不确定性，重点研究机制可解释性、可扩展监督、面向过程的学习、泛化理解和社会影响评估。目标是开

## 为什么值得关注

AI 的快速发展可能带来前所未有的机遇和风险。如果安全研究跟不上，强大的 AI 系统可能因对齐问题或竞争压力而失控，导致灾难性后果。Anthropic 的方法为如何负责任地推进 AI 提供了框架，对政策制定者、研究人员和公众理解 AI 安全至关重要。

## 核心要点

- AI 的进步由计算量指数增长驱动，未来十年可能达到人类水平。
- 当前无法确保强大 AI 系统始终对齐人类价值观，存在灾难性风险。
- Anthropic 采用经验主义方法，通过组合投资应对不同安全场景。
- 关键研究方向包括机制可解释性、可扩展监督和面向过程的学习。
- 组织致力于在安全标准满足前不部署超阈值模型，并接受独立评估。

# 关于 AI 安全的核心理念：何时、为何、何事以及如何

我们创立 Anthropic，是因为我们相信 AI 的影响可能堪比工业革命和科学革命，但我们不确定它是否会朝着好的方向发展。同时我们也相信，这种程度的影响可能很快就会到来——也许就在未来十年内。

这种观点听起来可能不太可信，甚至有些夸张，而且有充分的理由对此持怀疑态度。首先，几乎所有说过"我们正在做的事情可能是历史上最重大的发展之一"的人，最终都被证明是错的，而且往往错得很可笑。尽管如此，我们相信有足够的证据表明，我们应该认真为一个 AI 快速发展导致变革性 AI 系统出现的世界做好准备。

在 Anthropic，我们的座右铭一直是"用行动说话，而不是空谈"，我们一直专注于发布一系列以安全为导向的研究，我们相信这些研究对 AI 社区具有广泛价值。我们现在写下这些内容，是因为随着越来越多的人开始意识到 AI 的进步，我们认为现在是表达我们对这个话题的看法、解释我们的策略和目标的好时机。简而言之，我们相信 AI 安全研究至关重要，应该得到公共和私营部门各方的广泛支持。

因此，在这篇文章中，我们将总结我们为什么相信这一切：为什么我们预期 AI 会快速发展并产生巨大影响，以及这如何让我们对 AI 安全感到担忧。然后，我们将简要总结我们自己的 AI 安全研究方法及其背后的逻辑。我们希望这篇文章能为关于 AI 安全和 AI 进步的更广泛讨论做出贡献。

以下是本文主要观点的高层总结：

- AI 将产生巨大影响，可能就在未来十年内。AI 快速且持续的进步是用于训练 AI 系统的计算量呈指数级增长的可预测结果，因为关于"缩放定律"（scaling laws，即模型越大、数据越多，性能越好的规律）的研究表明，更多的计算量会带来能力的全面提升。简单的推算表明，AI 系统在未来十年内将变得强大得多，可能在大多数智力任务上达到或超过人类水平。AI 的进步可能会放缓或停止，但证据表明它很可能会继续。

- 我们不知道如何训练系统使其始终表现良好。到目前为止，没有人知道如何训练非常强大的 AI 系统，使其始终乐于助人、诚实且无害。此外，AI 的快速发展将对社会造成破坏，并可能引发竞争竞赛，导致企业或国家部署不可信的 AI 系统。其结果可能是灾难性的，要么是因为 AI 系统有策略地追求危险的目标，要么是因为这些系统在高风险情况下犯了更"无辜"的错误。

- 我们最看好一种多方面的、以经验为导向的 AI 安全方法。我们正在追求多种研究方向，目标是构建可靠安全的系统，目前最感兴趣的是扩展监督（scaling supervision，即让更强模型监督较弱模型）、机制可解释性（mechanistic interpretability，即理解 AI 内部运作机制）、面向过程的学习（process-oriented learning），以及理解和评估 AI 系统如何学习和泛化。我们的一个关键目标是差异化地加速这项安全工作，并建立一个涵盖广泛场景的安全研究框架，从安全挑战很容易解决的情况，到创建安全系统极其困难的情况。

## 我们对 AI 快速发展的粗略看法

导致 AI 性能可预测[1](https://www.anthropic.com/news/core-views-on-ai-safety#footnote-1)提升的三个主要因素是[训练数据、计算量和改进的算法](https://arxiv.org/pdf/2005.04305.pdf)。在 2010 年代中期，我们中的一些人注意到，更大的 AI 系统总是更聪明，因此我们推测，AI 性能最重要的因素可能是 AI 训练计算的总预算。当这一点被绘制成图表时，很明显，最大模型所使用的计算量正以每年[10 倍](https://openai.com/blog/ai-and-compute/)的速度增长（翻倍速度比摩尔定律快 7 倍）。2019 年，后来成为 Anthropic 创始团队的几位成员通过为 AI 开发[缩放定律](https://arxiv.org/abs/2001.08361)使这一想法变得精确，证明了你可以通过让 AI 变得更大并在更多数据上训练它们，以可预测的方式让它们变得更聪明。部分基于这些结果，该团队领导了训练 [GPT-3](https://arxiv.org/abs/2005.14165) 的工作，这可以说是第一个现代"大型"语言模型[2](https://www.anthropic.com/news/core-views-on-ai-safety#footnote-2)，拥有超过 1730 亿个参数。

自从发现缩放定律以来，Anthropic 的许多人都相信 AI 的快速发展是非常可能的。然而，在 2019 年，多模态（multimodality，即处理多种类型数据的能力）、逻辑推理、学习速度、跨任务迁移学习和长期记忆似乎可能是会减缓或阻止 AI 进步的"墙"。在随后的几年里，其中一些"墙"，比如多模态和逻辑推理，已经被推倒了。鉴于这一点，我们中的大多数人越来越确信，AI 的快速发展将会持续，而不是停滞或达到平台期。AI 系统现在在大量任务上接近人类水平，然而训练这些系统的成本仍然远低于像哈勃太空望远镜或大型强子对撞机这样的"大科学"项目——这意味着还有很大的进一步增长空间[3](https://www.anthropic.com/news/core-views-on-ai-safety#footnote-3)。

人们往往不擅长在早期阶段识别和承认指数级增长。尽管我们看到了 AI 的快速进步，但人们倾向于认为这种局部进步一定是例外而不是常态，事情很快就会恢复正常。然而，如果我们是对的，那么当前 AI 快速进步的感觉可能不会在 AI 系统拥有超越我们自身能力的广泛能力之前结束。此外，在 AI 研究中使用先进 AI 所产生的反馈循环可能会使这一转变特别迅速；我们已经看到了这一过程的开始，比如代码模型的开发使 AI 研究人员更高效，以及[宪法 AI](https://arxiv.org/abs/2212.08073)（Constitutional AI，一种让 AI 根据一套原则自我训练的方法）减少了对人类反馈的依赖。

如果这些观点中任何一点是正确的，那么大多数或所有的知识工作可能在不远的将来实现自动化——这将对社会产生深远影响，也可能改变其他技术的进步速度（一个早期例子是像 AlphaFold 这样的系统已经在加速今天的生物学研究）。未来的 AI 系统会是什么形式——例如，它们是否能够独立行动，还是仅仅为人类生成信息——仍有待确定。尽管如此，无论怎样强调这可能是一个多么关键的时刻都不为过。虽然我们可能希望 AI 进步能够放缓到足以使这一转变更易于管理，持续几个世纪而不是几年或几十年，但我们必须为我们预期的结果做好准备，而不是为我们希望的结果做准备。

当然，整个图景可能完全是错误的。在 Anthropic，我们倾向于认为它更可能正确而不是错误，但也许我们因为从事 AI 开发工作而有偏见。即使是这样，我们认为这个图景足够合理，不能轻易被否定。考虑到潜在的重大影响，我们相信 AI 公司、政策制定者和民间社会机构应该投入非常认真的努力，研究如何应对变革性 AI 并制定相应计划。

## 什么安全风险？

如果你愿意接受上述观点，那么不难论证 AI 可能对我们的安全和保障构成风险。有两个常识性的理由让人担忧。

首先，当系统开始变得和它们的设计者一样聪明、一样了解周围环境时，构建安全、可靠和可控的系统可能很棘手。打个比方，国际象棋大师很容易发现新手走出的坏棋，但新手很难发现大师走出的坏棋。如果我们构建了一个比人类专家能力更强的 AI 系统，但它追求的目标与我们的最佳利益相冲突，后果可能很严重。这就是技术上的对齐问题（alignment problem，即如何确保 AI 的目标与人类价值观一致）。

其次，AI 的快速发展将极具破坏性，会改变就业、宏观经济以及国家内部和国家之间的权力结构。这些破坏本身可能是灾难性的，它们也可能使以谨慎、周到的方式构建 AI 系统变得更加困难，从而导致进一步的混乱和更多的 AI 问题。

我们认为，如果 AI 进步很快，这两个风险来源将非常重要。这些风险还会以多种难以预料的方式相互叠加。也许事后我们会发现我们错了，其中一个或两个问题要么根本不会成为问题，要么很容易解决。尽管如此，我们认为有必要谨慎行事，因为"搞错了"可能是灾难性的。

当然，我们已经遇到了 AI 行为与其创造者意图不符的各种方式。这包括毒性、偏见、不可靠、不诚实，以及最近的[谄媚和对权力的渴望](https://arxiv.org/pdf/2212.09251.pdf)。我们预计，随着 AI 系统的普及和变得更加强大，这些问题将变得越来越重要，其中一些问题可能代表了我们在人类级别 AI 及更高版本中会遇到的问题。

然而，在 AI 安全领域，我们预计会混合出现[可预测和令人惊讶的发展](https://dl.acm.org/doi/pdf/10.1145/3531146.3533229)。即使我们能够令人满意地解决当代 AI 系统中遇到的所有问题，我们也不愿意轻率地假设未来的问题都可以用同样的方式解决。一些可怕的、推测性的问题可能只有在 AI 系统足够聪明，能够理解自己在世界上的位置、成功欺骗人类或制定人类无法理解的策略时才会出现。有许多令人担忧的问题可能只有在 AI 非常先进时才会出现。

## 我们的方法：AI 安全中的经验主义

我们相信，如果不与研究对象密切接触，就很难在科学和工程领域取得快速进展。不断与"基本事实"的来源进行迭代对于科学进步通常至关重要。在我们的 AI 安全研究中，关于 AI 的经验证据——尽管主要来自计算实验，即 AI 训练和评估——是基本事实的主要来源。

这并不意味着我们认为理论或概念研究在 AI 安全中没有位置，但我们确实相信，基于经验的安全研究将具有最大的相关性和影响力。可能的 AI 系统、可能的安全故障和可能的安全技术的空间是巨大的，仅靠纸上谈兵很难探索。考虑到考虑所有变量的困难，很容易过度关注从未出现的问题，或者错过确实存在的重大问题[4](https://www.anthropic.com/news/core-views-on-ai-safety#footnote-4)。好的经验研究往往能使更好的理论和概念工作成为可能。

与此相关，我们相信检测和缓解安全问题的方法可能极难提前规划，需要迭代开发。鉴于这一点，我们倾向于相信"规划是必不可少的，但计划是无用的"。在任何特定时间，我们可能对研究的下一步有一个计划，但我们对这些计划没有太多执着，它们更像是短期赌注，我们准备在学到更多东西时改变它们。这显然意味着我们不能保证我们当前的研究路线会成功，但这是每个研究项目都要面对的现实。

## 前沿模型在经验安全中的作用

Anthropic 作为一个组织存在的一个主要原因是我们相信有必要在"前沿"AI 系统上进行安全研究。这需要一个既能处理大型模型又能优先考虑安全的机构[5](https://www.anthropic.com/news/core-views-on-ai-safety#footnote-5)。

就其本身而言，经验主义并不一定意味着需要前沿安全。可以想象一种情况，经验安全研究可以在较小、能力较弱的模型上有效进行。然而，我们不认为我们处于那种情况。最基本的原因是，大型模型与小型模型有质的不同（包括[突然的、不可预测的变化](https://arxiv.org/pdf/2202.07785.pdf)）。但规模也以更直接的方式与安全相关：

- 我们许多最严重的安全问题可能只会在接近人类水平的系统中出现，如果没有这样的 AI，就很难或无法在这些问题上取得进展。

- 许多安全方法，如[宪法 AI](https://arxiv.org/abs/2212.08073) 或辩论（Debate），只能在大型模型上工作——使用较小的模型使得探索和验证这些方法成为不可能。

- 由于我们的担忧集中在未来模型的安全性上，我们需要了解安全方法和属性如何随着模型的扩展而变化。

- 如果未来的大型模型非常危险，那么开发令人信服的证据来证明这一点至关重要。我们预计这只有通过使用大型模型才能实现。

不幸的是，如果经验安全研究需要大型模型，那就迫使我们面对一个艰难的权衡。我们必须尽一切努力避免出现安全动机的研究加速危险技术部署的情况。但我们也不能让过度的谨慎导致最注重安全的研究工作只涉及远远落后于前沿的系统，从而大大减缓我们认为至关重要的研究。此外，我们认为在实践中，仅仅做安全研究是不够的——建立一个拥有机构知识的组织，能够尽快将最新的安全研究整合到实际系统中，也很重要。

负责任地处理这些权衡是一种平衡行为，这些担忧是我们作为组织做出战略决策的核心。除了我们的研究——涵盖安全、能力和政策——这些担忧还驱动着我们在公司治理、招聘、部署、安全和合作伙伴关系方面的做法。在不久的将来，我们还计划做出外部可见的承诺：只有在满足安全标准的情况下，才会开发超过特定能力阈值的模型，并允许一个独立的外部组织评估我们模型的能力和安全性。

## 对 AI 安全采取组合投资方法

一些关心安全的研究人员受到对 AI 风险性质的强烈看法的驱动。我们的经验是，即使预测 AI 系统在不久的将来的行为和特性也非常困难。对未来系统的安全性进行先验预测似乎更难。我们不采取强硬立场，而是相信各种场景都是可能的。

一个特别重要的不确定性维度是开发广泛安全且对人类风险很小的先进 AI 系统有多困难。开发这样的系统可能处于从非常容易到不可能的范围内的任何位置。让我们将这个范围划分为三种具有截然不同含义的场景：

- 乐观场景：由于安全故障，先进 AI 带来灾难性风险的可能性非常小。已经开发的安全技术，如[基于人类反馈的强化学习](https://proceedings.neurips.cc/paper/2017/file/d5e2c0adad503c91f91df240d0cd4e49-Paper.pdf)（RLHF）和[宪法 AI](https://arxiv.org/abs/2212.08073)（CAI），已经基本足以实现对齐。AI 的主要风险是今天面临问题的延伸，如毒性和故意滥用，以及由广泛自动化和国际权力格局变化等事物造成的潜在危害——这将需要 AI 实验室和第三方（如学术界和民间社会机构）进行大量研究以最小化危害。

- 中间场景：灾难性风险是先进 AI 开发的可能甚至合理的结果。要应对这一点，需要大量的科学和工程努力，但通过足够专注的工作，我们可以实现它。

- 悲观场景：AI 安全本质上是一个无法解决的问题——这是一个经验事实，我们无法控制或向一个在智力上普遍比我们自己更强的系统灌输价值观——因此我们绝不能开发或部署非常先进的 AI 系统。值得注意的是，最悲观的场景在非常强大的 AI 系统被创造出来之前，可能看起来像乐观场景。认真对待悲观场景需要在评估系统安全的证据时保持谦逊和谨慎。

如果我们处于乐观场景……（幸运的是）Anthropic 所做的一切的利害关系要低得多，因为无论如何，灾难性的安全故障不太可能出现。我们的对齐工作可能会加快先进 AI 能够真正有益使用的步伐，并将有助于减轻 AI 系统开发过程中造成的一些近期危害。我们也可能将努力转向帮助政策制定者应对先进 AI 带来的一些潜在的[结构性风险](https://www.governance.ai/research-paper/thinking-about-risks-from-ai-accidents-misuse-and-structure)，如果灾难性安全故障的可能性非常小，这可能是最大的风险来源之一。

如果我们处于中间场景……Anthropic 的主要贡献将是识别先进 AI 系统带来的风险，并找到和推广训练强大 AI 系统的安全方法。我们希望我们组合投资中的至少一些安全技术——下面将更详细地讨论——在这样的场景中会有所帮助。这些场景可能从"中等容易场景"（我们相信可以通过迭代像宪法 AI 这样的技术取得很多边际进展）到"中等困难场景"（在机制可解释性上取得成功似乎是我们最好的选择）。

如果我们处于悲观场景……Anthropic 的角色将是提供尽可能多的证据，证明 AI 安全技术无法防止先进 AI 带来的严重或灾难性安全风险，并发出警报，以便世界上的机构能够集中集体努力防止危险 AI 的开发。如果我们处于"接近悲观"的场景，这可能涉及将我们的集体努力引导到 AI 安全研究上，同时暂停 AI 的进步。表明我们处于悲观或接近悲观场景的迹象可能是突然的且难以发现。因此，我们应该始终假设我们可能仍处于这样的场景中，除非我们有足够的证据表明我们不是。

考虑到利害关系，我们的首要任务之一是继续收集更多关于我们处于哪种场景的信息。我们正在追求的许多研究方向旨在更好地理解 AI 系统，并开发能够帮助我们检测令人担忧的行为（如[权力寻求](https://arxiv.org/pdf/2206.13353.pdf)或先进 AI 系统的欺骗）的技术。

我们的目标本质上是开发：

- 使 AI 系统更安全的更好技术。

- 识别 AI 系统安全或不安全程度的更好方法。

在乐观场景中，（1）将帮助 AI 开发者训练有益的系统，（2）将证明这样的系统是安全的。在中间场景中，（1）可能是我们最终避免 AI 灾难的方式，（2）对于确保先进 AI 带来的风险很低至关重要。在悲观场景中，（1）的失败将是 AI 安全无法解决的关键指标，（2）将使向他人令人信服地证明这一点成为可能。

我们相信这种"组合投资方法"适用于 AI 安全研究。我们不是从上述列表中选择一个单一的可能场景下注，而是试图开发一个研究计划，该计划在中间场景中（AI 安全研究最有可能产生巨大影响）能够显著改善情况，同时在悲观场景中（AI 安全研究不太可能对 AI 风险产生太大影响）发出警报。我们还试图以一种在乐观场景中（对技术性 AI 安全研究的需求不那么迫切）也有益的方式来做这件事。

## Anthropic 的三种 AI 研究类型

我们将 Anthropic 的研究项目分为三个领域：

- 能力（Capabilities）：旨在使 AI 系统在任何类型的任务上普遍更好的 AI 研究，包括写作、图像处理或生成、游戏等。使大型语言模型更高效或改进强化学习算法的研究都属于这一类。能力工作生成并改进我们在对齐研究中调查和使用的模型。我们通常不发表这类工作，因为我们不希望推动 AI 能力进步的速度。此外，我们力求在展示前沿能力时（即使不发表）也保持谨慎。我们在 2022 年春季训练了我们的主打模型 Claude 的第一个版本，并决定优先将其用于安全研究，而不是公开部署。随后，在 Claude 与公开最先进技术之间的差距缩小后，我们开始部署它。

- 对齐能力（Alignment capabilities）：这项研究专注于开发新的算法，用于训练 AI 系统使其更有帮助、更诚实、更无害，以及更可靠、更稳健，总体上与人类价值观对齐。Anthropic 目前和过去这类工作的例子包括辩论、扩展自动化红队测试、宪法 AI、去偏见和 RLHF（基于人类反馈的强化学习）。通常这些技术具有实用价值和经济价值，但它们不一定非得如此——例如，如果新算法相对低效，或者只有在 AI 系统变得更强大时才会变得有用。

- 对齐科学（Alignment science）：这个领域专注于评估和理解 AI 系统是否真正对齐，对齐能力技术效果如何，以及我们能在多大程度上将这些技术的成功外推到更强大的 AI 系统。Anthropic 这类工作的例子包括机制可解释性的广泛领域，以及我们关于用语言模型评估语言模型、红队测试和使用影响函数（influence functions，一种分析数据点对模型影响的方法）研究大型语言模型泛化的工作（如下所述）。我们关于诚实的一些工作处于对齐科学和对齐能力的边界上。

从某种意义上说，可以将对齐能力与对齐科学视为"蓝队"与"红队"的区别，其中对齐能力研究试图开发新算法，而对齐科学则试图理解和揭示它们的局限性。

我们觉得这种分类很有用的一个原因是，AI 安全社区经常争论 RLHF（一种通过人类反馈来训练 AI 的方法）的发展——它也能产生经济价值——到底算不算“真正”的安全研究。我们认为它算。实用性的对齐能力研究，为我们开发更强大模型的技术奠定了基础——比如，我们在宪法式 AI 和 AI 生成评估上的工作，以及我们正在进行的自动化红队测试和辩论研究，如果没有之前 RLHF 的工作，都是不可能实现的。对齐能力研究通常能让 AI 系统变得更诚实、更可纠正，从而帮助它们参与对齐研究。此外，证明迭代式对齐研究能让模型对人类更有价值，也可能激励 AI 开发者投入更多资源，努力让模型更安全，并检测潜在的安全问题。

如果 AI 安全问题很容易解决，那么我们的对齐能力研究可能就是最有影响力的工作。反过来，如果对齐问题更难，我们就越来越需要依赖对齐科学来发现对齐能力技术中的漏洞。而如果对齐问题实际上几乎不可能解决，那我们就迫切需要对齐科学，来为停止开发高级 AI 系统建立一个强有力的理由。

## 我们当前的安全研究

我们目前正在多个不同方向上探索如何训练安全的 AI 系统，其中一些项目针对不同的威胁模型和能力水平。一些关键思路包括：

- 机制可解释性

- 可扩展监督

- 面向过程的学习

- 理解泛化能力

- 测试危险故障模式

- 社会影响与评估

### 机制可解释性

从很多方面来说，技术上的对齐问题与检测 AI 模型不良行为的问题是密不可分的。如果我们能在新情况下可靠地检测出不良行为（比如通过“读懂模型的想法”），那么我们就更有机会找到训练模型的方法，让它们不表现出这些故障模式。同时，我们也能向他人发出警告，说明模型不安全，不应部署。

我们的可解释性研究优先填补其他类型对齐科学留下的空白。例如，我们认为可解释性研究最有价值的事情之一，就是能够识别模型是否在欺骗性地对齐（即使在非常困难的测试中“配合”，比如故意“引诱”系统暴露不对齐的“蜜罐”测试）。如果我们在可扩展监督和面向过程学习上的工作取得了有希望的结果（见下文），我们预计能产生即使在非常困难的测试中也看起来对齐的模型。这可能意味着我们处于一个非常乐观的场景，或者是最悲观的场景之一。用其他方法几乎不可能区分这些情况，但用可解释性方法只是非常困难。

这让我们下了一个大赌注：机制可解释性，即尝试将神经网络逆向工程为人类可理解的算法，就像逆向工程一个未知且可能不安全的计算机程序一样。我们希望这最终能让我们做类似“代码审查”的事情，审计我们的模型，要么识别出不安全的方面，要么提供强有力的安全保障。

我们认为这是一个非常困难的问题，但也不像看起来那么不可能。一方面，语言模型是庞大而复杂的计算机程序（我们称之为“叠加”的现象只会让事情更难）。另一方面，我们看到一些迹象表明，这种方法比人们最初想象的要更容易处理。在 Anthropic 之前，我们团队的一些成员发现视觉模型有可以被理解为可解释电路的组件。从那以后，我们成功地将这种方法扩展到小型语言模型，甚至发现了一种似乎驱动了大部分上下文学习的机制。与一年前相比，我们对神经网络计算机制的理解也大大加深了，比如那些负责记忆的机制。

这只是我们当前的方向，我们从根本上受实证驱动——如果看到证据表明其他工作更有希望，我们会改变方向！更广泛地说，我们相信更好地理解神经网络和学习的详细工作原理，将为我们提供更多追求安全的工具。

### 可扩展监督

将语言模型转变为对齐的 AI 系统，需要大量高质量的反馈来引导它们的行为。一个主要的担忧是人类无法提供必要的反馈。可能人类无法提供足够准确或知情的反馈，来充分训练模型避免在各种情况下的有害行为。可能人类会被 AI 系统欺骗，无法提供反映他们真实意愿的反馈（比如不小心为误导性建议提供了正面反馈）。也可能是这些问题的组合，人类只要付出足够努力就能提供正确反馈，但无法大规模做到。这就是可扩展监督的问题，它很可能是训练安全、对齐的 AI 系统的核心问题。

最终，我们认为提供必要监督的唯一方法是让 AI 系统部分地自我监督，或协助人类进行自我监督。我们需要以某种方式，将少量高质量的人类监督放大为大量高质量的 AI 监督。这个想法已经在 RLHF 和宪法式 AI 等技术中显示出前景，尽管我们认为要让这些技术在与人类水平相当的系统上可靠，还有很多工作要做。

我们认为这类方法很有前景，因为语言模型在预训练期间已经学到了很多关于人类价值观的知识。学习人类价值观与学习其他主题没什么不同，我们应该预期更大的模型对人类价值观有更准确的理解，并且相对于较小的模型更容易学习。可扩展监督的主要目标是让模型更好地理解并按照人类价值观行事。

可扩展监督的另一个关键特征，尤其是像 CAI 这样的技术，是它们允许我们自动化红队测试（也就是对抗性训练）。也就是说，我们可以自动生成对 AI 系统可能有问题的输入，观察它们的反应，然后自动训练它们以更诚实和无害的方式行事。我们希望可以用可扩展监督来训练更稳健安全的系统。我们正在积极研究这些问题。

我们正在研究多种可扩展监督的方法，包括 CAI 的扩展、人类辅助监督的变体、AI-AI 辩论的版本、通过多智能体强化学习进行红队测试，以及创建模型生成的评估。我们认为扩展监督可能是训练能够超越人类能力同时保持安全的系统最有希望的方法，但要研究这种方法能否成功，还有大量工作要做。

### 学习过程而非追求结果

学习新任务的一种方法是通过试错——如果你知道期望的最终结果是什么样子，你可以不断尝试新策略直到成功。我们称之为“面向结果的学习”。在面向结果的学习中，智能体的策略完全由期望的结果决定，智能体将（理想情况下）收敛到某种低成本策略来实现它。

通常，更好的学习方法是让专家指导你遵循他们成功的过程。在练习回合中，你的成功可能并不那么重要，如果你能专注于改进方法的话。随着你的进步，你可能会转向更协作的过程，与你的教练商量新策略是否对你更有效。我们称之为“面向过程的学习”。在面向过程的学习中，目标不是达到最终结果，而是掌握可以用于实现该结果的各个过程。

至少在概念层面上，关于高级 AI 系统安全的许多担忧，都可以通过以面向过程的方式训练这些系统来解决。特别是在这个范式中：

- 人类专家将继续理解 AI 系统遵循的各个步骤，因为为了鼓励这些过程，它们必须向人类证明其合理性。

- AI 系统不会因为以难以理解或有害的方式取得成功而获得奖励，因为它们只会根据过程的有效性和可理解性获得奖励。

- AI 系统不应因为追求有问题的子目标（如获取资源或欺骗）而获得奖励，因为在训练过程中，人类或其代理会对单个获取性过程提供负面反馈。

在 Anthropic，我们强烈支持简单的解决方案，将 AI 训练限制在面向过程的学习，可能是缓解高级 AI 系统一系列问题的最简单方法。我们也乐于识别和解决面向过程学习的局限性，并理解当我们混合使用过程和结果导向的学习进行训练时，安全问题何时会出现。我们目前认为，面向过程的学习可能是训练安全且透明的系统（能力达到并略超人类水平）最有希望的途径。

### 理解泛化能力

机制可解释性工作逆向工程神经网络执行的计算。我们也在尝试更详细地理解大型语言模型的训练过程。

大型语言模型展示了一系列令人惊讶的涌现行为，从创造力到自我保护再到欺骗。虽然所有这些行为肯定都源于训练数据，但路径很复杂：模型首先在大量原始文本上进行“预训练”，从中学习广泛的表示和模拟不同智能体的能力。然后它们以各种方式进行微调，其中一些可能有意想不到的意外后果。由于微调阶段严重过参数化，学习到的模型关键取决于预训练的隐式偏差；这种隐式偏差源于从世界知识的大部分进行预训练而建立起来的复杂表示网络。

当模型表现出令人担忧的行为，比如扮演一个欺骗性对齐的 AI 时，它只是无害地复述几乎相同的训练序列吗？还是这种行为（甚至导致这种行为的信念和价值观）已经成为模型对 AI 助手概念的一部分，并在不同上下文中一致应用？我们正在研究将模型输出追溯到训练数据的技术，因为这将为理解它提供一组重要的线索。

一个关键的担忧是，高级 AI 可能会发展出有害的涌现行为，比如欺骗或战略规划能力，而这些在较小、能力较弱的系统中并不存在。我们认为，在问题成为直接威胁之前预测这类问题的方法，是设置环境，在这些环境中我们故意将这些特性训练到规模较小、不足以造成危险的模型中，这样我们就可以隔离和研究它们。

我们特别感兴趣的是，AI 系统在“情境感知”时如何表现——例如，当它们意识到自己是与人类对话的 AI，处于训练环境中——以及这如何影响它们在训练期间的行为。AI 系统会变得具有欺骗性，还是发展出令人惊讶且不受欢迎的目标？在最好的情况下，我们的目标是建立详细的定量模型，说明这些倾向如何随规模变化，以便我们能够提前预测危险故障模式的突然出现。

同时，关注研究本身带来的风险也很重要。如果研究是在较小、不太可能造成伤害的模型上进行的，那么它不太可能带来严重风险，但这种研究涉及引发我们认为危险的能力，如果在能力更强的大型模型上进行，则存在明显的风险。我们不打算在能够造成严重伤害的模型上进行这项研究。

### 社会影响与评估

批判性地评估我们工作的潜在社会影响是我们研究的关键支柱。我们的方法侧重于构建工具和测量方法，以评估和理解我们 AI 系统的能力、局限性以及潜在的社会影响。例如，我们发表了分析大型语言模型可预测性和惊喜的研究，该研究探讨了这些模型的高度可预测性和不可预测性如何导致有害行为。在那项工作中，我们强调了令人惊讶的能力可能如何被以有问题的方式使用。我们还研究了红队测试语言模型的方法，通过探测不同规模模型中的冒犯性输出来发现和减少危害。最近，我们发现当前的语言模型可以遵循指令来减少偏见和刻板印象。

我们非常担心日益强大的 AI 系统的快速部署将如何影响短期、中期和长期的社会。我们正在开展各种项目，以评估和减轻 AI 系统中潜在的有害行为，预测它们可能被如何使用，并研究它们的经济影响。这项研究也为我们在制定负责任的 AI 政策和治理方面的工作提供了信息。通过对 AI 当前影响进行严谨研究，我们旨在为政策制定者和研究人员提供他们所需的见解和工具，以帮助减轻这些潜在的重大社会危害，并确保 AI 的好处广泛而均匀地分布在社会中。

### 结语

我们相信人工智能可能对世界产生前所未有的影响，可能就在未来十年内。计算能力的指数级增长和 AI 能力的可预测改进表明，新系统将远比今天的技术先进。然而，我们还没有扎实地理解如何确保这些强大的系统与人类价值观稳健对齐，以便我们确信灾难性失败的风险最小。

我们想明确一点：我们不相信当今可用的系统构成迫在眉睫的担忧。但是，现在做基础工作是明智的，以便在更强大的系统被开发出来时，帮助降低高级 AI 的风险。结果可能证明创建安全的 AI 系统很容易，但我们认为为不太乐观的情况做准备至关重要。

Anthropic 采取了一种以实证为驱动的方法来研究 AI 安全。一些关键活跃工作领域包括：提高我们对 AI 系统如何学习和泛化到现实世界的理解，开发可扩展监督和审查 AI 系统的技术，创建透明且可解释的 AI 系统，训练 AI 系统遵循安全过程而非追求结果，分析 AI 潜在的危险故障模式及如何预防，以及评估 AI 的社会影响以指导政策和研究。通过从多个角度攻击 AI 安全问题，我们希望开发一个安全工作的“组合”，帮助我们在各种不同场景中取得成功。我们预计，随着关于我们所处场景类型的更多信息变得可用，我们的方法和资源分配将迅速调整。

- 算法进步——训练 AI 系统的新方法的发明——更难衡量，但进步似乎是指数级的，且快于摩尔定律。在推断 AI 能力进步时，支出、硬件性能和算法进步的指数增长必须相乘，才能估计整体增长率。

- 缩放定律为支出提供了理由，但进行这项工作的另一个潜在动机是转向能够读写 AI，以便更容易训练和实验能够与人类价值观互动的 AI。

- 从用于训练的总计算量增加来推断 AI 能力的进步并非精确科学，需要一些判断。我们知道从 GPT-2 到 GPT-3 的能力飞跃主要来自约 250 倍的计算量增加。我们猜测，原始 GPT-3 模型与 2023 年最先进模型之间还有另一个 50 倍的差距。根据计算成本和支出的趋势，未来 5 年内，用于训练最大模型的计算量可能会增加约 1000 倍。如果缩放定律成立，这将导致比从 GPT-2 到 GPT-3（或 GPT-3 到 Claude）大得多的能力飞跃。在 Anthropic，我们非常熟悉这些系统的能力，如此大的飞跃对我们许多人来说感觉可能导致在大多数任务上达到人类水平的表现。这需要我们用直觉——尽管是知情的直觉——因此是一种不完美的估计 AI 能力进步的方法。但基本事实包括 (i) 这两个系统之间的计算差异，(ii) 这两个系统之间的性能差异，(iii) 允许我们预测未来系统的缩放定律，以及 (iv) 计算成本和支出的趋势，任何人都可以获取，我们相信它们共同支持在未来十年内开发出广泛人类水平 AI 系统的可能性大于 10%。在这个粗略分析中，我们忽略了算法进步，计算数字是我们不提供细节的最佳估计。然而，这里内部的大部分分歧在于，给定等效的计算飞跃，推断后续能力飞跃的直觉。

- 例如，在 AI 研究中，很长一段时间内，理论上普遍认为局部最小值可能阻止神经网络学习，而它们泛化性质的许多定性方面，如对抗性样本的广泛存在，则有些神秘和令人惊讶。

- 对大型模型的有效安全研究不仅需要名义上的（例如 API）访问这些系统——要在可解释性、微调和强化学习方面开展工作，必须在 Anthropic 内部开发 AI 系统。

## 相关内容

### UST 正在将 Claude 引入物理 AI

### 邀请难题

我们正在向公众征集关于 AI 的最难问题，并承诺在回答时展示我们的工作过程。

### 本·伯南克被任命为 Anthropic 长期利益信托基金成员

---

英文原文：[Anthropic's core views on AI safety](https://www.anthropic.com/news/core-views-on-ai-safety)