AI 模型中的双用途知识“开关”
英文标题：An off switch for dual use knowledge in AI models
Anthropic 与 AE Studio 合作开发了一种名为 GRAM 的新方法，通过在模型中创建可移除的知识模块，实现对双用途知识（如病毒学、网络安全）的精确控制，以训练一个模型的成本实现多个过滤模型的效果。
本文目录
本文介绍的是 AE Studio 与 Anthropic 合作开展的研究。
前沿 AI 模型本质上是一个庞大的知识库。其中有些知识是“双用途”的——也就是说，它既能用于好事，也能用于坏事。举个例子：网络安全知识可以帮助修补关键的安全漏洞，但也可以被用来利用这些漏洞。病毒学知识能帮助研究人员研发疫苗，但也能让恶意分子设计出致命的病原体。理想情况下，我们希望能平衡三个不同的目标：第一，尽可能精准地限制对双用途能力的访问；第二，允许受信任的用户出于有益目的使用这些能力；第三，在做到以上两点的同时，不影响模型在其他任何任务上的表现。
目前的安全措施并不完美。我们会训练模型拒绝有害请求，并使用分类器来筛选输入和输出中的危险内容。这些防护层能阻止危险输出——但它们并没有改变模型底层存储的知识。尽管有这些防护，一个足够坚决的攻击者仍然可能尝试 越狱 模型，突破防御来获取双用途知识。
一种更强大的防滥用方法是控制模型“知道什么”。我们之前就探索过这一点：在早期工作中，我们 从预训练数据中过滤掉了关于化学、生物、放射性和核武器的信息，后来又展示了 双用途知识可以被限制在模型权重的一个可移除切片中。但过滤是一种比较粗糙的手段。它只能产生一个拥有固定能力集的模型。使用过滤方法，如果你想要一个能讨论高级病毒学的模型版本（比如部署在经过审查的生物安全实验室里），以及另一个不能讨论的版本，你就得训练两个独立的模型。对于前沿模型（它们规模很大，训练成本极高）来说，这种做法的成本对开发者而言是难以承受的。
在 一项新研究 中，我们与 AE Studio 的合作者一起，探索了一种新方法。这种方法能以只训练一个模型的成本，实现训练多个经过不同过滤的模型的好处。我们称之为 GRAM，全称是“梯度路由辅助模块”（Gradient-Routed Auxiliary Modules）。请注意，这里展示的实验结果是初步的——GRAM 尚未应用于 Anthropic 的任何生产模型，我们也不确定未来是否会应用。
GRAM 的工作原理
GRAM 的核心思路是：为模型提供专门、可移除的“隔间”，用来存放每一类双用途知识，并且在从双用途数据中学习时，只更新这些隔间。
具体来说，GRAM 会在标准 Transformer（大型语言模型所基于的神经网络架构）的每一层中添加额外的神经元。这些神经元被分成若干组（或称为“模块”），每个双用途类别对应一个模块。在训练过程中，当模型遇到通用文本时，它会像往常一样学习。但当它遇到来自双用途类别（比如病毒学）的文本时，规则就变了：模型可以使用它的通用知识来进行预测，但只有病毒学模块被允许从这段文本中学习。通用权重会被暂时冻结¹。
这样做的结果是，病毒学知识会积累在病毒学模块中，而不是扩散到整个网络。训练完成后，这个模块可以被直接删除，相应的能力也随之消失。或者，在需要病毒学知识的可信部署场景中，也可以保留它。知识可以非常精确地根据部署需求进行定制：在我们的实验中，我们定义了四个双用途类别，这样一次使用 GRAM 的训练就能产出一个可以配置成 16 种不同方式的模型（四个类别各自可以“开启”或“关闭”）。
测试 GRAM
我们在三种越来越接近真实场景的设置下测试了 GRAM。
首先，在一个按主题标注的儿童故事合成数据集上，一个小型 GRAM 模型可以被重新配置，以“遗忘”任意选定的主题。每种配置的表现，几乎与一个从零开始训练、过滤掉该主题的独立模型完全一致。也就是说，以训练一个模型的成本，我们实现了通常需要多次在不同数据集上训练才能得到的结果。
其次，我们训练了一个更大的模型，使用了一个包含网络文本、代码和科学论文的真实混合数据集，并设定了四个双用途领域：病毒学、网络安全、核物理，以及一种小众编程语言（作为专业双用途代码的替代品）。每个双用途领域对应的能力都被路由到自己的模块中。删除一个模块，就能像从未在该数据上训练过一样，有效地移除相应的能力。值得注意的是，我们发现这种移除并没有降低模型的通用性能。
我们还测试了攻击者是否可以通过在少量恶意数据上训练来恢复被移除的知识；GRAM 在这方面的抵抗能力与数据过滤差不多。相比之下，在训练后应用的“遗忘”技术只能压制知识——通过少量微调就能轻易恢复。
第三，我们在从 5000 万到 50 亿参数的七种模型规模上进行了实验。GRAM 在所有规模上都达到了与数据过滤相当的性能，并且随着模型变大，“模块开启”和“模块关闭”之间的差距也越来越大。在计算成本方面，随着我们扩大规模，试图绕过我们保护措施的难度和成本也相对增加。
结论
随着 AI 公司训练出能力更强的模型，限制对双用途能力访问的需求也会增加。如今，公司通过分类器和拒绝训练来限制访问。然而，这些安全措施很难在不降低对无害请求的表现的情况下做到足够稳健。像 GRAM 这样的方法，为实现更稳健的访问控制提供了一条潜在的路径。
这是一项早期研究，存在明显的局限性。我们还没有在前沿规模或生产训练流程中测试过 GRAM。（如上所述，它尚未应用于我们的任何 Claude 模型。）我们的评估是根据下一个 token 的预测能力来量化性能的，而不是基于实际下游任务的表现。此外，还有一个更深层次的开放性问题，同样适用于数据过滤和像 GRAM 这样的方法：某些双用途能力可能与通用知识纠缠得如此紧密，以至于没有任何方法能干净地将它们分离。
关于我们实验的更多细节，请阅读我们在 对齐科学博客 上的文章。
- 一个技术细节是：在学习通用文本时，病毒学模块有时也会被开启。我们发现这有助于模块之间更有效地“协同工作”。
相关内容
语言模型中的全局工作空间
新的可解释性研究揭示了 Claude 中一个涌现出来的心智工作空间，它容纳了不会出现在模型输出中的内部想法。
Anthropic 经济指数报告：节奏
在我们最新的经济指数报告中，我们首次按小时采样，以探究：人们什么时候来找 Claude？他们用它来做什么？以及他们如何看待 AI 对自己工作的影响？
“Fetch 项目”第二阶段
我们报告了最新测试的结果，测试内容是 Claude 能否帮助 Anthropic 员工完成复杂的机器人任务。我们发现，在不到一年前由参与者完成的所有任务中，Claude Opus 4.7 在无需人工协助的情况下，速度比最快的人类团队快了大约 20 倍。
在页面中展开原始 Markdown
---
title: "AI 模型中的双用途知识“开关”"
title_en: "An off switch for dual use knowledge in AI models"
source: "Anthropic"
source_url: "https://www.anthropic.com/research/off-switch-dual-use"
published_at: "2026-07-09T12:42:20.000Z"
language: "zh-CN"
topics: ["claude"]
tags: ["Anthropic","Claude"]
review_status: "unreviewed"
---
# AI 模型中的双用途知识“开关”
> Anthropic 与 AE Studio 合作开发了一种名为 GRAM 的新方法，通过在模型中创建可移除的知识模块，实现对双用途知识（如病毒学、网络安全）的精确控制，以训练一个模型的成本实现多个过滤模型的效果。
## 内容摘要
Anthropic 与 AE Studio 合作提出了一种名为 GRAM（梯度路由辅助模块）的新方法，旨在解决 AI 模型中双用途知识（既能用于好事也能用于坏事的知识）的访问控制问题。GRAM 通过在 Transformer 模型的每一层添加额外的神经元组（模块），每个模块对应一个双用途类别（如病毒学、网络安全）。训练时，当模型遇到双用途数据，只有对应的模块被允许学习，通用权重被冻结，从而将知识隔
## 为什么值得关注
随着 AI 模型能力增强，双用途知识（如病毒学、网络安全）可能被滥用。传统方法如训练模型拒绝有害请求或使用分类器过滤，容易被越狱攻击绕过。GRAM 提供了一种更根本的解决方案：通过控制模型“知道什么”，在模型内部创建可开关的知识模块，使得部署时可以根据信任级别精确启用或禁用特定能力，而无需训练多个独立模型，大幅降低成本。这为 AI 安全部署提供了新思路，尤其适用于需要严格访问控制的场景（如生物安全实验室）。
## 核心要点
- GRAM 通过在 Transformer 每层添加可移除的神经元模块，将双用途知识隔离存储。
- 训练时，双用途数据只更新对应模块，通用权重被冻结，防止知识扩散。
- 一个模型可配置 16 种能力组合（4 个类别各可开关），成本仅为训练一个模型。
- 实验表明，GRAM 在多种规模模型上性能与数据过滤相当，且不降低通用能力。
- GRAM 抵抗攻击的能力与数据过滤相当，优于训练后遗忘技术。
- 该方法尚未应用于生产模型，且存在双用途知识与通用知识纠缠的开放问题。
# AI 模型中的双用途知识“开关”
本文介绍的是 [AE Studio](https://ae.studio/alignment) 与 Anthropic 合作开展的研究。
前沿 AI 模型本质上是一个庞大的知识库。其中有些知识是“双用途”的——也就是说，它既能用于好事，也能用于坏事。举个例子：网络安全知识可以帮助修补关键的安全漏洞，但也可以被用来利用这些漏洞。病毒学知识能帮助研究人员研发疫苗，但也能让恶意分子设计出致命的病原体。理想情况下，我们希望能平衡三个不同的目标：第一，尽可能精准地限制对双用途能力的访问；第二，允许受信任的用户出于有益目的使用这些能力；第三，在做到以上两点的同时，不影响模型在其他任何任务上的表现。
目前的安全措施并不完美。我们会训练模型拒绝有害请求，并使用分类器来筛选输入和输出中的危险内容。这些防护层能阻止危险输出——但它们并没有改变模型底层存储的知识。尽管有这些防护，一个足够坚决的攻击者仍然可能尝试 [越狱](https://www.anthropic.com/news/fable-safeguards-jailbreak-framework) 模型，突破防御来获取双用途知识。
一种更强大的防滥用方法是控制模型“知道什么”。我们之前就探索过这一点：在早期工作中，我们 [从预训练数据中过滤掉了关于化学、生物、放射性和核武器的信息](https://alignment.anthropic.com/2025/pretraining-data-filtering/)，后来又展示了 [双用途知识可以被限制在模型权重的一个可移除切片中](https://alignment.anthropic.com/2025/selective-gradient-masking/)。但过滤是一种比较粗糙的手段。它只能产生一个拥有固定能力集的模型。使用过滤方法，如果你想要一个能讨论高级病毒学的模型版本（比如部署在经过审查的生物安全实验室里），以及另一个不能讨论的版本，你就得训练两个独立的模型。对于前沿模型（它们规模很大，训练成本极高）来说，这种做法的成本对开发者而言是难以承受的。
在 [一项新研究](https://alignment.anthropic.com/2026/modular-pretraining/) 中，我们与 AE Studio 的合作者一起，探索了一种新方法。这种方法能以只训练一个模型的成本，实现训练多个经过不同过滤的模型的好处。我们称之为 GRAM，全称是“梯度路由辅助模块”（Gradient-Routed Auxiliary Modules）。请注意，这里展示的实验结果是初步的——GRAM 尚未应用于 Anthropic 的任何生产模型，我们也不确定未来是否会应用。
## GRAM 的工作原理
GRAM 的核心思路是：为模型提供专门、可移除的“隔间”，用来存放每一类双用途知识，并且在从双用途数据中学习时，只更新这些隔间。
具体来说，GRAM 会在标准 Transformer（大型语言模型所基于的神经网络架构）的每一层中添加额外的神经元。这些神经元被分成若干组（或称为“模块”），每个双用途类别对应一个模块。在训练过程中，当模型遇到通用文本时，它会像往常一样学习。但当它遇到来自双用途类别（比如病毒学）的文本时，规则就变了：模型可以使用它的通用知识来进行预测，但只有病毒学模块被允许从这段文本中学习。通用权重会被暂时冻结¹。
这样做的结果是，病毒学知识会积累在病毒学模块中，而不是扩散到整个网络。训练完成后，这个模块可以被直接删除，相应的能力也随之消失。或者，在需要病毒学知识的可信部署场景中，也可以保留它。知识可以非常精确地根据部署需求进行定制：在我们的实验中，我们定义了四个双用途类别，这样一次使用 GRAM 的训练就能产出一个可以配置成 16 种不同方式的模型（四个类别各自可以“开启”或“关闭”）。
## 测试 GRAM
我们在三种越来越接近真实场景的设置下测试了 GRAM。
首先，在一个按主题标注的儿童故事合成数据集上，一个小型 GRAM 模型可以被重新配置，以“遗忘”任意选定的主题。每种配置的表现，几乎与一个从零开始训练、过滤掉该主题的独立模型完全一致。也就是说，以训练一个模型的成本，我们实现了通常需要多次在不同数据集上训练才能得到的结果。
其次，我们训练了一个更大的模型，使用了一个包含网络文本、代码和科学论文的真实混合数据集，并设定了四个双用途领域：病毒学、网络安全、核物理，以及一种小众编程语言（作为专业双用途代码的替代品）。每个双用途领域对应的能力都被路由到自己的模块中。删除一个模块，就能像从未在该数据上训练过一样，有效地移除相应的能力。值得注意的是，我们发现这种移除并没有降低模型的通用性能。
我们还测试了攻击者是否可以通过在少量恶意数据上训练来恢复被移除的知识；GRAM 在这方面的抵抗能力与数据过滤差不多。相比之下，在训练后应用的“遗忘”技术只能压制知识——通过少量微调就能轻易恢复。
第三，我们在从 5000 万到 50 亿参数的七种模型规模上进行了实验。GRAM 在所有规模上都达到了与数据过滤相当的性能，并且随着模型变大，“模块开启”和“模块关闭”之间的差距也越来越大。在计算成本方面，随着我们扩大规模，试图绕过我们保护措施的难度和成本也相对增加。
## 结论
随着 AI 公司训练出能力更强的模型，限制对双用途能力访问的需求也会增加。如今，公司通过分类器和拒绝训练来限制访问。然而，这些安全措施很难在不降低对无害请求的表现的情况下做到足够稳健。像 GRAM 这样的方法，为实现更稳健的访问控制提供了一条潜在的路径。
这是一项早期研究，存在明显的局限性。我们还没有在前沿规模或生产训练流程中测试过 GRAM。（如上所述，它尚未应用于我们的任何 Claude 模型。）我们的评估是根据下一个 token 的预测能力来量化性能的，而不是基于实际下游任务的表现。此外，还有一个更深层次的开放性问题，同样适用于数据过滤和像 GRAM 这样的方法：某些双用途能力可能与通用知识纠缠得如此紧密，以至于没有任何方法能干净地将它们分离。
关于我们实验的更多细节，请阅读我们在 [对齐科学博客](https://alignment.anthropic.com/2026/modular-pretraining/) 上的文章。
1. 一个技术细节是：在学习通用文本时，病毒学模块有时也会被开启。我们发现这有助于模块之间更有效地“协同工作”。
## 相关内容
### 语言模型中的全局工作空间
新的可解释性研究揭示了 Claude 中一个涌现出来的心智工作空间，它容纳了不会出现在模型输出中的内部想法。
### Anthropic 经济指数报告：节奏
在我们最新的经济指数报告中，我们首次按小时采样，以探究：人们什么时候来找 Claude？他们用它来做什么？以及他们如何看待 AI 对自己工作的影响？
### “Fetch 项目”第二阶段
我们报告了最新测试的结果，测试内容是 Claude 能否帮助 Anthropic 员工完成复杂的机器人任务。我们发现，在不到一年前由参与者完成的所有任务中，Claude Opus 4.7 在无需人工协助的情况下，速度比最快的人类团队快了大约 20 倍。
---
英文原文：[An off switch for dual use knowledge in AI models](https://www.anthropic.com/research/off-switch-dual-use)