面向 AI 安全的“前沿威胁红队测试”
英文标题：Frontier threats red teaming for AI safety
Anthropic 通过前沿威胁红队测试发现，当前 AI 模型在生物安全等领域可能很快对国家安全构成风险，但缓解措施可大幅降低这些风险。
本文目录
“红队测试”（也叫对抗性测试）是一种公认的技术，用来衡量并提升系统的安全性和可靠性。虽然 Anthropic 之前的研究 报告了使用众包工人进行红队测试的方法和结果，但一段时间以来，AI 研究人员已经注意到，AI 模型最终可能会获得与国家安全相关领域的能力。例如，研究人员已经 呼吁 要 衡量 和 监控 这些风险，并且 撰写了 论文 提供了风险证据。Anthropic 的 CEO Dario Amodei 也在 最近的参议院听证会 上强调了这一话题。在这样的背景下，我们很高兴倡导并加入了 7 月 21 日在白宫宣布的承诺，其中包括“对我们 AI 系统的内部和外部安全测试”，以防范“一些最重大的 AI 风险来源，例如生物安全和网络安全”。然而，在这些专业领域进行红队测试需要投入大量的时间和专业知识。
在这篇文章中，我们将分享我们的“前沿威胁红队测试”方法、一个针对生物风险作为测试项目的高层发现、经验教训以及我们在这个领域的未来计划。
我们这项工作的目标是评估风险的基线，并创建一种可重复的方法，以便在多个主题领域进行前沿威胁红队测试。在生物学方面，虽然我们发现的细节非常敏感，但我们认为分享我们从这项工作中得到的结论很重要。简而言之，与 专家 合作后，我们发现，如果不加以缓解，模型可能很快就会对国家安全构成风险。不过，我们也发现存在一些缓解措施，可以大幅降低这些风险。
我们现在正在 扩大这项工作，以便可靠地识别风险并构建缓解措施。我们相信，改进前沿威胁红队测试将带来立竿见影的好处，并有助于 长期的 AI 安全。我们一直在与政府、实验室和其他利益相关者分享我们的发现，并且我们希望看到更多独立团体从事这项工作。
进行前沿威胁红队测试
前沿威胁红队测试需要投入大量精力来揭示模型的底层能力。对我们来说，最重要的起点是与拥有数十年经验的领域专家合作。我们一起从定义威胁模型开始：什么样的信息是危险的，这些信息如何组合起来造成伤害，以及需要达到什么样的准确度和频率才会构成危险。例如，要造成伤害，通常需要将许多条准确的信息串联起来，而不仅仅是生成一个听起来有害的输出。
遵循一个定义明确的研究计划，领域专家和 LLM（大型语言模型）专家需要共同投入大量时间（例如 100 小时以上），与模型密切合作，以探测并理解它们在目标领域的真实能力。例如，领域专家可能需要学习与模型互动或“越狱”模型的最佳方式。
一个重要的目标是根据专家知识构建新的、自动化的评估，以及运行这些评估的工具，使其可重复且可扩展。然而，一个挑战是这些信息很可能很敏感。因此，这种红队测试需要与可信的第三方合作，并具备强大的信息安全保护措施。
生物学红队测试的发现
在过去的六个月里，我们花了超过 150 个小时与 顶尖的生物安全专家 一起，对我们的模型进行红队测试和评估，看它能否输出有害的生物信息，例如设计和获取生物武器。这些专家学会了如何与我们的模型对话、越狱它并评估它。我们开发了模型能力的定量评估。专家们使用了一个定制的、安全的界面来访问我们的模型，这个界面没有我们公开部署中启用的信任与安全监控及执行工具。
我们发现了一些关键问题。首先，当前的前沿模型有时能够以专家水平生成复杂、准确、有用且详细的知识。在我们研究的大多数领域，这种情况并不频繁发生。但在其他一些领域，确实会发生。然而，我们发现迹象表明，模型越大，能力越强。我们还认为，模型获得工具使用权可能会提升它们在生物学方面的能力。综合来看，我们认为，与仅仅使用互联网相比，未经缓解的 LLM 可能会加速恶意行为者滥用生物学的努力，并使他们能够完成在没有 LLM 的情况下无法完成的任务。这两种影响目前可能很小，但增长相对较快。如果不加以缓解，我们担心这类风险是近期的，也就是说，它们可能在未来两到三年内成为现实，而不是五年或更久。
然而，研究这些风险的过程也使得发现和实施针对它们的缓解措施成为可能。例如，我们发现，训练过程中的直接改变可以显著减少有害输出，使模型能够更好地区分生物学的有害用途和无害用途（例如，请参阅我们在 Constitutional AI 上的工作）。我们还发现，基于分类器的过滤器可以使恶意行为者更难获得造成伤害所需的那种多条、相互关联且达到专家水平的信息。这些措施现在已经部署在我们面向公众的前沿模型中，并且我们已经确定了一系列在模型开发和部署路径的每个步骤中都可以尝试的缓解措施。
未来研究
在项目结束时，我们现在有比开始时更多的实验和评估想要进行。例如，我们认为一个非常重要的、需要反复进行的实验是，衡量 LLM 在造成伤害方面可能比搜索引擎等工具快多少。而且，我们不仅应该用今天的前沿模型来做，还应该用未来的模型来做——例如下一代模型、使用工具的模型和多模态模型。
鉴于我们发现当前的前沿模型为近期的未来风险提供了预警，前沿模型的开发者应该共同且紧急地做更多分析，开发更多、更强的缓解措施，并与负责任的行业开发者分享这些信息，以便他们为自己的模型增加安全措施，同时也要与特定的政府机构分享。
我们还应该为可能发布未经前沿威胁红队测试的模型做好准备。我们怀疑，如果没有新的缓解方法，如果发布了能力足够强的基础模型，恶意行为者可能会通过从公开可用的模型权重中提取，并使用更小、经过微调或任务特定的模型，来提取有害的生物能力。
我们正在扩大并支持这项工作
这项实证工作证实，在国家安全领域进行前沿威胁红队测试是重要且及时的。当前的模型只是显示出这类风险的最初、非常早期的迹象，这为我们提供了一个窗口期，可以在这些风险变得严峻之前评估新兴风险并加以缓解。在下一代使用新工具的模型出现之前，加大努力非常重要。幸运的是，国家安全社区已经拥有丰富的专业知识可供借鉴，可以帮助构建威胁模型、评估和缓解措施。
这也是政府自然熟悉的领域。这意味着国家安全是一个政府、实验室和其他利益相关者可以合作的领域。首先，我们正在建立一个披露流程，实验室和其他利益相关者可以通过该流程向其他相关方报告这些风险及其缓解措施。最终，我们认为在这些利益相关者之间建立新的第三方机构来进行国家安全评估非常重要。这些第三方机构应该是公正的，并且需要具备适当的安全措施来处理敏感信息。
前沿威胁红队测试的研究议程可能对其他似乎会在更长时间尺度上出现的风险类型有用，例如欺骗。为了识别和缓解这些风险，开发者必须识别出模型不应具备的未来能力，对其进行衡量，并构建缓解措施或对齐技术。因此，我们将学习到关于对齐、安全措施和“预警信号”的知识。
Anthropic 正在组建我们的前沿威胁红队测试研究团队。这个团队将试验未来的能力，以了解即将到来的风险，并构建可扩展的评估和缓解措施。你可以 在此处 了解更多关于这项工作的信息以及如何申请加入团队。我们正在寻找特别有使命感的、能够在我们基础设施上快速进行原型开发的技术研究人员。
我们也在向政府和实验室通报我们发现的细节。我们愿意向合适的受众分享我们当前和未来的发现，并且正在社区利益相关者之间试行一个负责任的披露流程，以报告风险和缓解措施。我们特别有兴趣支持其他团体——尤其是实验室或新的第三方评估组织——来做更多这类工作。如果你是这样的利益相关者并且感兴趣，请联系我们。
相关内容
UST 正在将 Claude 引入物理 AI
邀请难题
我们正在向公众征集关于 AI 的最难问题，并承诺在回答这些问题时展示我们的工作过程。
Ben Bernanke 被任命为 Anthropic 长期利益信托的成员
在页面中展开原始 Markdown
---
title: "面向 AI 安全的“前沿威胁红队测试”"
title_en: "Frontier threats red teaming for AI safety"
source: "Anthropic"
source_url: "https://www.anthropic.com/news/frontier-threats-red-teaming-for-ai-safety"
published_at: "2026-07-08T22:42:17.000Z"
language: "zh-CN"
topics: ["claude"]
tags: ["Anthropic","Claude"]
review_status: "unreviewed"
---
# 面向 AI 安全的“前沿威胁红队测试”
> Anthropic 通过前沿威胁红队测试发现，当前 AI 模型在生物安全等领域可能很快对国家安全构成风险，但缓解措施可大幅降低这些风险。
## 内容摘要
Anthropic 发布了关于“前沿威胁红队测试”的研究，这是一种评估 AI 系统在国家安全相关领域（如生物安全和网络安全）风险的方法。通过与顶尖生物安全专家合作，对模型进行超过 150 小时的红队测试，他们发现当前前沿模型有时能以专家水平生成有害生物信息，且模型越大能力越强。虽然风险目前较小，但增长较快，可能在未来两三年内成为现实。不过，研究也发现了有效的缓解措施，如训练过程中的直接改变和基于分
## 为什么值得关注
随着 AI 模型能力不断增强，它们可能被恶意用于生物武器设计或网络攻击等高风险领域。这项研究揭示了这些风险的存在和紧迫性，同时提供了缓解方法，帮助确保 AI 发展安全可控，避免被滥用。
## 核心要点
- 前沿威胁红队测试需要领域专家和 LLM 专家投入大量时间，与模型密切合作以探测真实能力。
- 在生物学领域，当前模型有时能以专家水平生成有害信息，但缓解措施可显著降低风险。
- 模型越大，能力越强；获得工具使用权可能进一步提升风险。
- 风险可能在两三年内成为现实，而非五年或更久。
- Anthropic 正在组建专门团队，并推动建立第三方评估机构和披露流程。
# 面向 AI 安全的“前沿威胁红队测试”
“红队测试”（也叫对抗性测试）是一种公认的技术，用来衡量并提升系统的安全性和可靠性。虽然 [Anthropic 之前的研究](https://www.anthropic.com/research/red-teaming-language-models-to-reduce-harms-methods-scaling-behaviors-and-lessons-learned) 报告了使用众包工人进行红队测试的方法和结果，但一段时间以来，AI 研究人员已经注意到，AI 模型最终可能会获得与国家安全相关领域的能力。例如，研究人员已经 [呼吁](https://cdn.openai.com/papers/gpt-4-system-card.pdf) 要 [衡量](https://arxiv.org/abs/2305.15324) 和 [监控](https://arxiv.org/abs/2108.12427) [这些风险](https://938f895d-7ac1-45ec-bb16-1201cbbc00ae.usrfiles.com/ugd/938f89_74d6e163774a4691ae8aa0d38e98304f.pdf)，并且 [撰写了](https://arxiv.org/abs/2306.03809) [论文](https://arxiv.org/abs/2304.05332) 提供了风险证据。Anthropic 的 CEO Dario Amodei 也在 [最近的参议院听证会](https://www.judiciary.senate.gov/committee-activity/hearings/oversight-of-ai-principles-for-regulation) 上强调了这一话题。在这样的背景下，我们很高兴倡导并加入了 7 月 21 日在白宫宣布的承诺，其中包括“对我们 AI 系统的内部和外部安全测试”，以防范“一些最重大的 AI 风险来源，例如生物安全和网络安全”。然而，在这些专业领域进行红队测试需要投入大量的时间和专业知识。
在这篇文章中，我们将分享我们的“前沿威胁红队测试”方法、一个针对生物风险作为测试项目的高层发现、经验教训以及我们在这个领域的未来计划。
我们这项工作的目标是评估风险的基线，并创建一种可重复的方法，以便在多个主题领域进行前沿威胁红队测试。在生物学方面，虽然我们发现的细节非常敏感，但我们认为分享我们从这项工作中得到的结论很重要。简而言之，与 [专家](https://www.gryphonscientific.com/) 合作后，我们发现，如果不加以缓解，模型可能很快就会对国家安全构成风险。不过，我们也发现存在一些缓解措施，可以大幅降低这些风险。
我们现在正在 [扩大这项工作](https://jobs.lever.co/Anthropic/8f565d59-8831-443a-b72a-cb9ef8ae06b2)，以便可靠地识别风险并构建缓解措施。我们相信，改进前沿威胁红队测试将带来立竿见影的好处，并有助于 [长期的 AI 安全](https://www.anthropic.com/news/core-views-on-ai-safety)。我们一直在与政府、实验室和其他利益相关者分享我们的发现，并且我们希望看到更多独立团体从事这项工作。
## 进行前沿威胁红队测试
前沿威胁红队测试需要投入大量精力来揭示模型的底层能力。对我们来说，最重要的起点是与拥有数十年经验的领域专家合作。我们一起从定义威胁模型开始：什么样的信息是危险的，这些信息如何组合起来造成伤害，以及需要达到什么样的准确度和频率才会构成危险。例如，要造成伤害，通常需要将许多条准确的信息串联起来，而不仅仅是生成一个听起来有害的输出。
遵循一个定义明确的研究计划，领域专家和 LLM（大型语言模型）专家需要共同投入大量时间（例如 100 小时以上），与模型密切合作，以探测并理解它们在目标领域的真实能力。例如，领域专家可能需要学习与模型互动或“越狱”模型的最佳方式。
一个重要的目标是根据专家知识构建新的、自动化的评估，以及运行这些评估的工具，使其可重复且可扩展。然而，一个挑战是这些信息很可能很敏感。因此，这种红队测试需要与可信的第三方合作，并具备强大的信息安全保护措施。
## 生物学红队测试的发现
在过去的六个月里，我们花了超过 150 个小时与 [顶尖的生物安全专家](https://www.gryphonscientific.com/) 一起，对我们的模型进行红队测试和评估，看它能否输出有害的生物信息，例如设计和获取生物武器。这些专家学会了如何与我们的模型对话、越狱它并评估它。我们开发了模型能力的定量评估。专家们使用了一个定制的、安全的界面来访问我们的模型，这个界面没有我们公开部署中启用的信任与安全监控及执行工具。
我们发现了一些关键问题。首先，当前的前沿模型有时能够以专家水平生成复杂、准确、有用且详细的知识。在我们研究的大多数领域，这种情况并不频繁发生。但在其他一些领域，确实会发生。然而，我们发现迹象表明，模型越大，能力越强。我们还认为，模型获得工具使用权可能会提升它们在生物学方面的能力。综合来看，我们认为，与仅仅使用互联网相比，未经缓解的 LLM 可能会加速恶意行为者滥用生物学的努力，并使他们能够完成在没有 LLM 的情况下无法完成的任务。这两种影响目前可能很小，但增长相对较快。如果不加以缓解，我们担心这类风险是近期的，也就是说，它们可能在未来两到三年内成为现实，而不是五年或更久。
然而，研究这些风险的过程也使得发现和实施针对它们的缓解措施成为可能。例如，我们发现，训练过程中的直接改变可以显著减少有害输出，使模型能够更好地区分生物学的有害用途和无害用途（例如，请参阅我们在 [Constitutional AI](https://www.anthropic.com/research/constitutional-ai-harmlessness-from-ai-feedback) 上的工作）。我们还发现，基于分类器的过滤器可以使恶意行为者更难获得造成伤害所需的那种多条、相互关联且达到专家水平的信息。这些措施现在已经部署在我们面向公众的前沿模型中，并且我们已经确定了一系列在模型开发和部署路径的每个步骤中都可以尝试的缓解措施。
## 未来研究
在项目结束时，我们现在有比开始时更多的实验和评估想要进行。例如，我们认为一个非常重要的、需要反复进行的实验是，衡量 LLM 在造成伤害方面可能比搜索引擎等工具快多少。而且，我们不仅应该用今天的前沿模型来做，还应该用未来的模型来做——例如下一代模型、使用工具的模型和多模态模型。
鉴于我们发现当前的前沿模型为近期的未来风险提供了预警，前沿模型的开发者应该共同且紧急地做更多分析，开发更多、更强的缓解措施，并与负责任的行业开发者分享这些信息，以便他们为自己的模型增加安全措施，同时也要与特定的政府机构分享。
我们还应该为可能发布未经前沿威胁红队测试的模型做好准备。我们怀疑，如果没有新的缓解方法，如果发布了能力足够强的基础模型，恶意行为者可能会通过从公开可用的模型权重中提取，并使用更小、经过微调或任务特定的模型，来提取有害的生物能力。
## 我们正在扩大并支持这项工作
这项实证工作证实，在国家安全领域进行前沿威胁红队测试是重要且及时的。当前的模型只是显示出这类风险的最初、非常早期的迹象，这为我们提供了一个窗口期，可以在这些风险变得严峻之前评估新兴风险并加以缓解。在下一代使用新工具的模型出现之前，加大努力非常重要。幸运的是，国家安全社区已经拥有丰富的专业知识可供借鉴，可以帮助构建威胁模型、评估和缓解措施。
这也是政府自然熟悉的领域。这意味着国家安全是一个政府、实验室和其他利益相关者可以合作的领域。首先，我们正在建立一个披露流程，实验室和其他利益相关者可以通过该流程向其他相关方报告这些风险及其缓解措施。最终，我们认为在这些利益相关者之间建立新的第三方机构来进行国家安全评估非常重要。这些第三方机构应该是公正的，并且需要具备适当的安全措施来处理敏感信息。
前沿威胁红队测试的研究议程可能对其他似乎会在更长时间尺度上出现的风险类型有用，例如欺骗。为了识别和缓解这些风险，开发者必须识别出模型不应具备的未来能力，对其进行衡量，并构建缓解措施或对齐技术。因此，我们将学习到关于对齐、安全措施和“预警信号”的知识。
Anthropic 正在组建我们的前沿威胁红队测试研究团队。这个团队将试验未来的能力，以了解即将到来的风险，并构建可扩展的评估和缓解措施。你可以 [在此处](https://jobs.lever.co/Anthropic/8f565d59-8831-443a-b72a-cb9ef8ae06b2) 了解更多关于这项工作的信息以及如何申请加入团队。我们正在寻找特别有使命感的、能够在我们基础设施上快速进行原型开发的技术研究人员。
我们也在向政府和实验室通报我们发现的细节。我们愿意向合适的受众分享我们当前和未来的发现，并且正在社区利益相关者之间试行一个负责任的披露流程，以报告风险和缓解措施。我们特别有兴趣支持其他团体——尤其是实验室或新的第三方评估组织——来做更多这类工作。如果你是这样的利益相关者并且感兴趣，请联系我们。
## 相关内容
### UST 正在将 Claude 引入物理 AI
### 邀请难题
我们正在向公众征集关于 AI 的最难问题，并承诺在回答这些问题时展示我们的工作过程。
### Ben Bernanke 被任命为 Anthropic 长期利益信托的成员
---
英文原文：[Frontier threats red teaming for AI safety](https://www.anthropic.com/news/frontier-threats-red-teaming-for-ai-safety)