为 AI 问责制规划一条路径

---
title: "为 AI 问责制规划一条路径"
title_en: "Charting a path to AI accountability"
source: "Anthropic"
source_url: "https://www.anthropic.com/news/charting-a-path-to-ai-accountability"
published_at: "2026-07-08T22:41:45.000Z"
language: "zh-CN"
topics: ["claude"]
tags: ["Anthropic","Claude"]
review_status: "unreviewed"
---

# 为 AI 问责制规划一条路径

> Anthropic 向美国 NTIA 提交建议，呼吁建立评估、审计和监管框架以确保 AI 系统安全可靠。

## 内容摘要

Anthropic 回应 NTIA 关于 AI 问责制的征求意见，提出一系列建议，包括资助评估研究、基于模型能力的风险响应式评估、大型训练预注册、授权第三方审计、强制外部红队测试、推进可解释性研究以及明确反垄断法以促进安全合作。这些建议旨在建立有效的 AI 问责制框架，确保 AI 系统安全开发与部署。

## 为什么值得关注

随着 AI 能力快速提升，缺乏健全的问责机制可能导致不可控风险。Anthropic 的建议为政策制定者提供了具体路径，帮助在释放 AI 潜力的同时防范潜在危害，对公众安全、企业合规和国家竞争力均有深远影响。

## 核心要点

- 增加对 AI 模型评估研究的资金投入，并制定行业评估标准。
- 基于模型能力设定风险阈值，对高风险模型加强监管。
- 建立大型 AI 训练预注册制度，确保监管机构知情。
- 授权具备技术素养和安全意识的第三方审计机构。
- 强制在模型发布前进行外部红队测试。
- 推进可解释性研究，并明确反垄断法以促进安全合作。

# 为 AI 问责制规划一条路径

本周，Anthropic 向美国国家电信和信息管理局（NTIA）提交了一份[回应文件](https://www-cdn.anthropic.com/257e6352c677beeffcbce24233211887173a41dc/2023.06.06-Anthropic_NTIA_Comment_v2.pdf)，回应 NTIA 关于 AI 问责制的[征求意见](https://ntia.gov/issues/artificial-intelligence/request-for-comments)。今天，我们想分享我们的建议，因为这些建议体现了 Anthropic 的一些核心 AI 政策主张。

目前，还没有一个健全且全面的流程来评估当今先进的 AI 系统，更不用说未来能力更强的系统了。我们的提交文件阐述了我们对于确保 AI 问责制所需流程和基础设施的看法。我们的建议考虑了 NTIA 作为一个协调机构的潜在角色，它可以与[美国国家标准与技术研究院（NIST）](https://www.anthropic.com/news/an-ai-policy-tool-for-today-ambitiously-invest-in-nist)等其他政府机构合作制定标准。

在我们的建议中，我们重点关注适用于高能力和通用型 AI 模型的问责机制。具体来说，我们建议：

- **资助研究，以构建更好的评估方法**
  - 增加对 AI 模型评估研究的资金投入。开发严格、标准化的评估是一项困难且耗时的工作，需要大量资源。增加资金投入，尤其是来自政府机构的资金，有助于推动这一关键领域的进展。
  - 短期内要求公司披露评估方法和结果。部署 AI 系统的公司应被强制要求满足某些关于其评估的披露要求，但如果公开这些要求会损害知识产权或机密信息，则无需公开。这种透明度可以帮助研究人员和政策制定者更好地了解现有评估可能存在的不足。
  - 长期来看，制定一套行业评估标准和最佳实践。像 NIST 这样的政府机构可以努力建立评估 AI 模型能力、局限性和风险的标准和基准，公司需要遵守这些标准。

- **基于模型能力创建风险响应式评估**
  - 为 AI 系统开发标准的能力评估。政府应资助并参与开发针对先进 AI 关键风险（例如欺骗和自主性）的严格能力和安全评估。这些评估可以为制定相称的、风险响应式的监管提供基于证据的基础。
  - 通过更多安全评估的研究和资金投入来设定一个风险阈值。一旦确定了风险阈值，我们就可以要求所有模型都针对该阈值进行评估。
    - 如果模型低于此风险阈值，现有的安全标准可能就足够了。验证合规性后即可部署。
    - 如果模型超过风险阈值，且安全评估和缓解措施不足，则应暂停部署，大幅加强监督，并通知监管机构。在允许部署之前，确定适当的保障措施。

- **为大型 AI 训练建立预注册制度**
  - 建立一个流程，让 AI 开发者报告大型训练运行，确保监管机构了解潜在风险。这涉及确定合适的接收方、所需信息以及适当的网络安全、保密性、知识产权和隐私保护措施。
  - 建立一个保密登记册，让进行大型训练运行的 AI 开发者在训练开始前，向其所在国家的政府预注册模型详细信息（例如模型规格、模型类型、计算基础设施、计划训练完成日期和安全计划）。汇总的登记册数据应按照最高可用标准进行保护。

- **授权第三方审计机构，这些机构应具备以下能力：**
  - **技术素养** – 至少部分审计员需要具备深厚的机器学习经验；
  - **安全意识** – 能够很好地保护有价值的知识产权，这些知识产权如果被盗可能构成国家安全威胁；
  - **灵活性** – 能够进行稳健但轻量级的评估，既能发现威胁，又不会削弱美国的竞争力。

- **在模型发布前强制进行外部红队测试**
  - 强制对 AI 系统进行外部红队测试，可以通过集中式第三方（例如 NIST）或去中心化方式（例如通过研究人员 API 访问）进行，以标准化对 AI 系统的对抗性测试。这应成为开发者发布先进 AI 系统的前提条件。
  - 在外部红队测试成为模型发布的前提条件之前，先建立高质量的外部红队测试选项。这一点至关重要，因为红队测试人才目前几乎完全集中在私营 AI 实验室中。

- **推进可解释性研究**
  - 增加对可解释性研究的资金投入。为大学、非营利组织和公司的可解释性工作提供政府拨款和激励措施。这将允许在较小的模型上进行有意义的工作，从而推动前沿实验室之外的进展。
  - 认识到目前要求模型具有可解释性的法规是无法实现的，但未来随着研究进展，这可能会成为可能。

- **通过明确反垄断法，促进 AI 安全方面的行业合作**
  - 监管机构应根据现行反垄断法，就允许的 AI 行业安全协调发布指导意见。阐明私营公司如何在不违反反垄断法的情况下为公共利益进行合作，这将减少法律不确定性并推进共同目标。

我们相信，这套建议将使我们更接近建立一个有效的 AI 问责制框架。实现这一目标需要研究人员、AI 实验室、监管机构、审计员和其他利益相关者之间的合作。Anthropic 致力于支持确保 AI 系统安全开发和部署的努力。评估、红队测试、标准、可解释性及其他安全研究、审计和强大的网络安全实践，都是减轻 AI 风险同时实现其收益的有前途的途径。

我们相信，AI 可能在我们有生之年产生变革性影响，我们希望确保这些影响是积极的。建立强大的 AI 问责制和审计机制对于实现这一目标至关重要。我们感谢有机会回应这份征求意见。

您可以[在此](https://www-cdn.anthropic.com/257e6352c677beeffcbce24233211887173a41dc/2023.06.06-Anthropic_NTIA_Comment_v2.pdf)阅读我们的完整提交文件。

## 相关内容

### UST 正在将 Claude 引入物理 AI

### 邀请难题

我们正在向公众征集关于 AI 的最难问题，并承诺在回答这些问题时展示我们的工作过程。

### Ben Bernanke 被任命为 Anthropic 长期利益信托的成员

---

英文原文：[Charting a path to AI accountability](https://www.anthropic.com/news/charting-a-path-to-ai-accountability)