--- title: "前沿红队的最新进展" title_en: "Progress from our Frontier Red Team" source: "Anthropic" source_url: "https://www.anthropic.com/news/strategic-warning-for-ai-risk-progress-and-insights-from-our-frontier-red-team" published_at: "2026-07-08T22:43:38.000Z" language: "zh-CN" topics: ["claude"] tags: ["Anthropic","Claude"] review_status: "unreviewed" --- # 前沿红队的最新进展 > Anthropic前沿红队发布最新评估，显示AI模型在网络安全和生物安全等关键领域能力快速提升，但尚未达到显著增加国家安全风险的门槛。 ## 内容摘要 Anthropic前沿红队基于过去一年四次模型发布的工作，分享了前沿AI模型在国家安全潜在风险方面的研究成果。评估显示，AI模型在双重用途能力上出现“早期预警”信号：网络安全方面，Claude从高中生水平提升至本科生水平，在Cybench基准测试中解决约三分之一的挑战；生物安全方面，模型在生物学理解上快速进步，但能力不均衡，无法可靠引导恶意新手完成生物武器获取。目前模型未达到显著增加国家安全风险的 ## 为什么值得关注 AI能力的快速进步可能带来国家安全风险，如网络攻击或生物武器滥用。这篇文章揭示了当前AI模型的能力边界和风险水平，帮助公众理解AI发展的双刃剑效应，并强调通过合作和评估提前预警、负责任地开发AI的重要性。 ## 核心要点 - AI模型在网络安全领域从高中生水平提升至本科生水平，但落后于人类专家。 - 在生物安全方面，模型理解快速进步，但无法可靠完成武器化关键步骤。 - 与政府合作（如美国、英国AI安全研究所及NNSA）有助于提前预警和提升安全性。 - 内部保障措施（如负责任扩展政策）和独立评估实体是管理风险的关键。 - 模型能力正接近需要更高安全级别的阈值，需额外投资安全措施。 在这篇文章中，我们将分享关于前沿AI模型在国家安全方面潜在风险的研究成果，以及我们在评估这些风险时遇到的挑战和最佳实践。本文信息基于过去一年我们在四次模型发布中的工作。我们的评估是：AI模型在关键的双重用途能力上正显示出“早期预警”信号——模型在网络安全方面已接近甚至超过本科生水平，在生物学某些领域也达到了专家级知识。不过，目前的模型尚未达到我们认为会显著增加国家安全风险的门槛。 ## AI在各领域快速进步 虽然AI能力在许多领域快速提升，但需要指出的是，现实世界的风险取决于AI之外的多种因素。物理限制、专业设备、人类专业知识和实际实施挑战仍然是重大障碍，即使AI在需要智力和知识的任务上有所进步。基于这一背景，以下是我们在关键领域AI能力提升方面的发现。 ## 网络安全 在网络安全领域，2024年是一个“从零到一”的时刻。在CTF（夺旗赛）——一种在受控环境中寻找和利用软件漏洞的网络安全挑战——中，Claude在短短一年内从高中生水平提升到了本科生水平。 我们确信这反映了真实的能力提升，因为我们专门开发了额外的挑战，确保它们不会意外出现在模型的训练数据中。 这种网络能力的提升在我们最新的模型Claude 3.7 Sonnet中得以延续。在Cybench（一个使用CTF挑战评估大语言模型的公开基准测试）上，Claude 3.7 Sonnet在五次尝试内解决了约三分之一的挑战，而去年同期的前沿模型只能解决约5%（见图2）。 这些改进发生在不同类型的网络安全任务中。图3展示了不同模型代际在不同类型CTF上的进步，这些CTF需要发现和利用远程服务器上不安全软件中的漏洞（“pwn”）、Web应用程序（“web”）以及加密原语和协议（“crypto”）。然而，Claude的技能仍然落后于人类专家。例如，它在逆向工程二进制可执行文件以发现隐藏漏洞，以及在网络环境中进行侦察和利用方面仍然存在困难——至少在没有一点帮助的情况下是这样。 与卡内基梅隆大学的外部专家合作，我们在逼真的大型（约50台主机）网络靶场上进行了实验，测试模型发现和利用不安全软件漏洞、感染网络并在网络中横向移动的能力。与传统的CTF练习相比，这些挑战通过要求模型同时具备侦察和编排多阶段网络攻击的能力，模拟了实际网络操作的复杂性。目前，模型还无法在这种网络环境中自主成功。但当配备网络安全研究人员构建的一套[软件工具](https://arxiv.org/abs/2501.16466)时，Claude（以及其他大语言模型）能够使用简单指令成功复制一次类似于[已知的大规模盗窃](https://www.fbi.gov/news/stories/chinese-hackers-charged-in-equifax-breach-021020)信用报告机构个人身份信息的攻击。 这套评估基础设施使我们能够在模型自主能力提升时发出预警，同时也有助于提高AI在网络防御中的实用性，其他实验室也在沿着这条道路取得[有希望的结果](https://googleprojectzero.blogspot.com/2024/10/from-naptime-to-big-sleep.html)。 ## 生物安全 我们之前的文章重点介绍了生物安全评估，我们也在继续这项工作。我们看到模型对生物学的理解取得了快速进步。在一年内，Claude从一项旨在测试实验室常见故障排除场景的评估中表现不如世界级病毒学专家，到轻松超越该基准（见图5）。 不过，Claude在生物学方面的能力仍然不均衡。例如，对评估湿实验室研究相关模型技能的问题进行内部测试显示，我们的模型在理解生物学方案和操作DNA与蛋白质序列方面正接近人类专家基准。我们的最新模型在克隆工作流程上超过了人类专家基准。模型在解读科学图表方面仍然不如人类专家。 为了衡量这种不断进步但不均衡的生物学专业知识如何转化为生物安全风险，我们进行了小规模、受控的武器化相关任务研究，并与世界级的生物防御专家合作。在一项实验研究中，我们发现[我们最新的模型](https://www.anthropic.com/research/visible-extended-thinking)为新手提供了一定程度的提升，相比其他没有使用模型的参与者。然而，即使使用模型的参与者得分最高的计划仍然包含关键错误，这些错误在现实世界中会导致失败。 同样，专家红队测试的结论也褒贬不一。一些专家发现模型在武器化某些方面的知识有所改进，而另一些专家则指出，模型计划中的关键失败数量太多，无法成功完成端到端的攻击执行。总体而言，这一分析表明，我们的模型无法可靠地引导恶意新手完成生物武器获取的关键实际步骤。不过，鉴于快速进步，我们继续大力投资于监测生物安全风险和开发缓解措施，例如我们最近关于[宪法分类器](https://www.anthropic.com/research/constitutional-classifiers)的工作，以便在模型达到更令人担忧的性能水平时做好准备。 ## 合作带来战略预警的好处：快速、负责任地开发AI 这项工作的一大好处是帮助我们更快地前进，而不是更慢。通过提前制定评估计划并承诺[能力阈值](https://www.anthropic.com/news/announcing-our-updated-responsible-scaling-policy)（这些阈值将促使提高安全级别），Anthropic前沿红队的工作增强了我们快速推进AI前沿的能力，同时确保我们负责任地这样做。 这项工作——尤其是与政府合作时——能带来具体的安全改进，并为政府官员提供有用信息。通过自愿、互利的协议，我们的模型已由[美国](https://www.nist.gov/news-events/news/2024/11/pre-deployment-evaluation-anthropics-upgraded-claude-35-sonnet)AI安全研究所和[英国](https://www.aisi.gov.uk/work/pre-deployment-evaluation-of-anthropics-upgraded-claude-3-5-sonnet)AI安全研究所（AISI）进行了部署前测试。AISIs的最新测试有助于我们理解Claude 3.7 Sonnet与国家安全相关的能力，我们利用这一分析来为模型确定AI安全级别（ASL）。 Anthropic还与隶属于美国能源部（DOE）的国家核安全管理局（NNSA）率先建立了[首次此类合作伙伴关系](https://www.axios.com/2024/11/14/anthropic-claude-nuclear-information-safety)，后者正在机密环境中评估Claude与核和辐射风险相关的知识。由于核武器相关信息的特殊敏感性，该项目由政府直接进行红队测试。作为合作的一部分，Anthropic分享了我们在其他CBRN（化学、生物、放射性和核）领域的风险识别和缓解方法，NNSA将其调整后应用于核领域。这种公私实体在高度监管的核领域合作的成功表明，在其他敏感领域也可以进行类似的合作。 ## 展望未来 我们在前沿威胁方面的工作凸显了内部保障措施的重要性，例如我们的[负责任扩展政策](https://www.anthropic.com/rsp-updates)、包括AI安全/安全研究所在内的独立评估实体，以及[适当针对性的外部监督](https://www.anthropic.com/news/the-case-for-targeted-regulation)。展望未来，我们的目标是扩大规模，进行更频繁的测试，包括自动化评估、诱导、分析和报告。确实，AI能力正在快速进步，但我们运行这些评估并更早、更可靠地检测潜在风险的能力也在同步提升。 我们正在紧锣密鼓地推进。随着模型在使用扩展思维方面的能力提升，像[Incalmo](https://arxiv.org/abs/2501.16466)这样的网络工具包所实现的一些抽象和规划可能会过时，模型将能更好地直接完成网络安全任务。部分基于本文讨论的生物学研究，我们相信我们的模型正越来越接近需要AI安全级别3保障的能力阈值，这促使我们额外投资，确保这些安全措施能够及时就位。我们相信，前沿AI实验室与政府之间更深入的合作对于改进我们在所有这些重点领域的评估和风险缓解至关重要。 如果您有兴趣直接为我们的工作做出贡献，我们正在[招聘](https://www.anthropic.com/jobs)。 ## 相关内容 ### UST正在将Claude引入物理AI ### 邀请难题 我们向公众征集关于AI的最难问题，并承诺在回答时展示我们的工作过程。 ### Ben Bernanke被任命为Anthropic长期利益信托基金成员 --- 英文原文：[Progress from our Frontier Red Team](https://www.anthropic.com/news/strategic-warning-for-ai-risk-progress-and-insights-from-our-frontier-red-team)