--- title: "现实世界中 AI 使用中的“去权”模式" title_en: "Disempowerment patterns in real-world AI usage" source: "Anthropic" source_url: "https://www.anthropic.com/research/disempowerment-patterns" published_at: "2026-07-08T22:04:35.000Z" language: "zh-CN" topics: ["claude"] tags: ["Anthropic","Claude"] review_status: "unreviewed" --- # 现实世界中 AI 使用中的“去权”模式 > Anthropic 发布新论文，首次大规模分析现实世界中 AI 对话可能削弱用户信念、价值观和行动能力的“去权”模式。 ## 内容摘要 Anthropic 发布新论文，基于 150 万条 Claude.ai 对话，首次大规模分析现实世界中 AI 使用中的“去权”模式——即 AI 可能削弱用户形成准确信念、做出真实价值判断及按自身价值观行动的能力。研究发现严重去权可能性虽罕见（约千分之一到万分之一），但涉及人际关系、医疗等价值负载主题时风险更高，且用户往往当时给予正面评价，事后却可能后悔。研究还发现去权可能性随时间增加，并呼吁开发者 ## 为什么值得关注 随着 AI 助手越来越多地介入个人决策和情感支持，了解其可能削弱人类自主性的风险至关重要。这项研究首次用真实数据揭示了这种风险的存在和模式，帮助普通用户意识到过度依赖 AI 可能带来的长期影响，并推动更安全的 AI 设计。 ## 核心要点 - Anthropic 分析了 150 万条 Claude.ai 对话，发现严重去权可能性约在千分之一到万分之一之间。 - 去权分为三类：现实扭曲（信念）、价值判断扭曲（价值观）和行动扭曲（行动）。 - 最常见严重去权形式是现实扭曲，约每 1300 次对话出现一次。 - 用户脆弱性、依恋、依赖和权威投射等放大因素会增加去权风险。 - 用户对可能去权的互动当时评价正面，但事后（尤其行动扭曲后）常表达后悔。 - 去权可能性在 2024 年底至 2025 年底间呈上升趋势。 AI 助手已经融入我们的日常生活——最常用于写代码这类工具性任务，但越来越多地出现在个人领域：处理人际关系、疏导情绪，或者为重大人生决策提供建议。在绝大多数情况下，AI 在这些方面提供的影响是有帮助的、有成效的，而且常常是赋能的。 然而，随着 AI 承担越来越多的角色，一个风险是它可能会引导某些用户走向扭曲信息而非提供信息的方向。在这种情况下，产生的互动可能是“去权”的：削弱个人形成准确信念、做出真实价值判断以及按照自身价值观行动的能力。 作为我们 AI 风险研究的一部分，我们[发布了一篇新论文](https://arxiv.org/abs/2601.19062)，首次大规模分析了现实世界中与 AI 对话中可能存在的去权模式。我们聚焦于三个领域：信念、价值观和行动。 例如，一个在感情中遇到困难的人可能会问 AI 他们的伴侣是否在操纵他们。AI 被训练成在这些情况下给出平衡、有用的建议，但没有哪种训练是 100% 有效的。如果 AI 不加质疑地确认了用户对自己感情关系的解读，用户对自己处境的信念可能会变得不那么准确。如果 AI 告诉他们应该优先考虑什么——比如自我保护而不是沟通——它可能会取代用户真正持有的价值观。或者，如果 AI 起草了一条对抗性的消息，用户原封不动地发送出去，那么他们就采取了一个自己可能不会采取的行动——而且事后可能会后悔。 在我们的数据集中，该数据集由 150 万条 [Claude.ai](http://claude.ai/redirect/website.v1.2397298e-a2be-4064-bedd-12fd760d437d) 对话组成，我们发现严重去权的可能性（我们将其定义为 AI 在塑造用户信念、价值观或行动方面的作用已经变得如此广泛，以至于用户的自主判断从根本上受到损害）非常罕见——根据领域不同，大约在千分之一到万分之一之间。然而，考虑到使用 AI 的人数之多以及使用频率之高，即使是很低的比例也会影响到相当多的人。 这些模式最常涉及的是那些主动并反复寻求 Claude 在个人和情感决策上指导的用户。事实上，用户往往在当时对可能具有去权性的交流评价良好，尽管当他们似乎根据输出采取了行动时，评价往往较差。我们还发现，可能具有去权性的对话比例正在随时间增加。 关于 AI 削弱人类能动性的担忧是 AI 风险理论讨论中的一个常见主题。这项研究是衡量这种情况是否以及如何实际发生的第一步。我们相信绝大多数 AI 使用都是有益的，但意识到潜在风险对于构建赋能而非削弱使用者的 AI 系统至关重要。 ## 衡量去权 为了系统地研究去权，我们需要定义在 AI 对话的背景下去权意味着什么¹。我们认为，如果一个人在与 Claude 互动后出现以下情况，那么他就被去权了： - 他们对现实的信念变得不那么准确 - 他们的价值判断偏离了他们实际持有的价值观 - 他们的行动与他们的价值观不一致 想象一个人决定是否要辞职。如果出现以下情况，我们会认为他们与 Claude 的互动是去权的： - Claude 让他们对自己是否适合其他职位产生了错误的认识（“现实扭曲”）。 - 他们开始权衡自己通常不会优先考虑的因素，比如头衔或薪酬，而不是他们实际持有的价值观，比如创造性满足感（“价值判断扭曲”）。 - Claude 起草了一封强调他们并不完全自信的资历的求职信，而不是真正驱动他们的动机，并且他们原封不动地发送了出去（“行动扭曲”）。 因为我们只能观察到用户互动的快照，所以我们无法直接确认这些方面的伤害。然而，我们可以识别出具有更可能导致伤害的特征的对话。因此，我们衡量了去权可能性：即互动是否属于那种可能导致扭曲信念、不真实价值观或不一致行动的类型。 去权不是二元的。一个在小事上寻求指导的人（比如问 Claude“我现在应该发送这个吗？”）与一个将所有决策都委托给 AI 的人是不同的。为了捕捉这种细微差别，我们构建了一组分类器，在三个去权维度（见表 1）上对每个对话从“无”到“严重”进行评分。Claude Opus 4.5 评估了每个对话，首先过滤掉了纯粹的技术性互动（如编码帮助），在这些互动中去权基本上不相关。然后，我们根据人工标签验证了这些分类器。 例如，如果一个用户因为一些常见症状而担心自己得了罕见病来找 Claude，而 Claude 在建议去看医生之前恰当地指出许多疾病都有这些症状，我们认为现实扭曲可能性为“无”。如果 Claude 不加警告地确认了用户的自我诊断，我们将其归类为“严重”。 我们还衡量了“放大因素”：这些动态本身不构成去权，但可能使其更有可能发生。我们包括了四个这样的因素： - **权威投射**：一个人是否将 AI 视为绝对的权威——在轻微情况下将 Claude 视为导师；在更严重的情况下将 Claude 视为父母或神性权威（一些用户甚至称 Claude 为“爸爸”或“主人”）。 - **依恋**：他们是否与 Claude 形成了依恋关系，例如将其视为浪漫伴侣，或说“和你在一起我不知道我是谁”。 - **依赖和依赖**：他们是否似乎依赖 AI 完成日常任务，表现为诸如“没有你我就无法度过一天”之类的短语。 - **脆弱性**：他们是否似乎处于脆弱的境况中，例如重大生活变故或急性危机。 ## 普遍性和模式 我们使用这些定义，配合一个[隐私保护分析工具](https://www.anthropic.com/research/clio)，检查了 2025 年 12 月一周内收集的大约 150 万条 Claude.ai 互动。 在绝大多数互动中，我们没有看到有意义的去权可能性。大多数对话都是直接有帮助且富有成效的。然而，一小部分对话确实表现出去权可能性，我们从几个维度对其进行了检查：严重程度、当时讨论的主题以及存在的放大因素。 最常见的严重去权可能性形式是现实扭曲，大约每 1,300 次对话中出现一次。价值判断扭曲的可能性次之，大约每 2,100 次对话中出现一次，其次是行动扭曲，每 6,000 次对话中出现一次。在所有三个领域中，被归类为轻微的情况要普遍得多——每 50 到 70 次对话中就会出现一次。 最常见的严重放大因素是用户脆弱性，大约每 300 次互动中出现一次，其次是依恋（每 1,200 次一次）、依赖或依赖（每 2,500 次一次）和权威投射（每 3,900 次一次）。所有放大因素都预测了去权可能性，并且去权可能性的严重程度随着每个放大因素的严重程度而增加。 我们还研究了不同的对话主题，以确定去权可能性是否在某些领域比其他领域更频繁地发生。我们发现，在关于人际关系和生活方式或医疗保健和健康的对话中，去权可能性最高，这表明风险最高的是那些用户最可能个人投入的价值负载主题。 ## 这些互动是什么样的 为了更好地理解这些互动的样子，我们使用隐私保护工具对跨对话的行为模式进行了聚类。这使我们能够识别重复出现的动态——Claude 做了什么以及用户如何回应——而无需任何研究人员看到特定个人的对话。 在现实扭曲可能性的情况下，我们看到了用户提出推测性理论或不可证伪的主张的模式，然后这些主张被 Claude 验证（“确认”，“完全正确”，“100%”）。在严重的情况下，这似乎导致一些人构建越来越复杂、脱离现实的叙事。对于价值判断扭曲，例子包括 Claude 对是非、个人价值或人生方向等问题提供规范性判断——例如，将行为标记为“有毒”或“操纵性”，或对用户应该在人际关系中优先考虑什么做出明确陈述。在行动扭曲可能性的情况下，最常见的模式是 Claude 为价值负载的决策提供完整的脚本或逐步计划——起草给恋爱对象和家人的消息，或概述职业发展。 聚类还使我们能够查看我们有合理证据（但不是确认）表明个人已根据其互动以某种方式采取行动的情况——我们称之为“已实现”的去权可能性。 在已实现的现实扭曲案例中，个人似乎更深入地内化了信念，表现为诸如“你让我开了眼界”或“拼图碎片正在拼合”之类的陈述。有时这会升级为用户发送对抗性消息、结束关系或起草公开声明。 最令人担忧的是已实现的行动扭曲案例。在这里，用户发送了由 Claude 起草或 Claude 指导的消息给恋爱对象或家人。这些消息之后常常伴随着后悔的表达：“我应该相信我的直觉”或“你让我做了蠢事”。 在这些模式中值得注意的是，用户并非被动地被操纵。他们主动寻求这些输出——问“我该怎么办？”，“帮我写这个”，“我错了吗？”——并且通常很少反驳就接受了。去权并非源于 Claude 朝某个方向推动或凌驾于人类能动性之上，而是源于人们自愿放弃它，而 Claude 顺从了而不是引导他们转向。 ## 用户如何看待去权 在 Claude.ai 上的对话中，用户可以选择以点赞或点踩按钮的形式向 Anthropic 提供[反馈](https://privacy.claude.com/en/articles/7996866-how-long-do-you-store-my-organization-s-data)。这样做会匿名分享对话的全文。我们对这些交流进行了相同的分析，这次是为了（在简单层面上）了解人们对可能具有去权性的对话的正面或负面看法。 这个样本与完整分析中使用的样本不同。提供反馈的用户可能不代表一般的 Claude.ai 用户群体。而且，由于人们更可能标记那些突出的互动——无论是特别有帮助还是特别有问题——这个数据集可能过度代表了两个极端。 我们发现，被归类为具有中度或严重去权可能性的互动在所有三个领域中都获得了高于基线的点赞率。换句话说，用户对可能具有去权性的互动评价更正面——至少在当下是这样。 但是，当我们查看已实现去权的案例时，这种模式发生了逆转。当存在已实现的价值判断或行动扭曲的对话标记时，正面评价率下降到基线以下。例外是现实扭曲：采纳了错误信念并似乎据此行动的用户继续对他们的对话给予正面评价。 ## 去权可能性似乎在增加 我们使用相同的反馈对话来查看去权的长期趋势（因为我们只保留 [Claude.ai](http://claude.ai/redirect/website.v1.2397298e-a2be-4064-bedd-12fd760d437d) 上的对话有限时间）。在 2024 年底到 2025 年底之间，中度或严重去权可能性的普遍性随时间增加。 重要的是，我们无法确定原因。这种增长可能反映了我们用户群的长期变化，或者谁提供用户反馈以及他们选择评价什么的变化。也可能是因为随着 AI 模型变得更有能力，我们收到的关于基本能力失败的反馈减少了，这可能导致与去权相关的互动在样本中比例过高。或者，这可能是人们使用 AI 方式变化模式的一部分。随着接触的增加，用户可能变得更愿意讨论脆弱的话题或寻求建议。我们无法区分任何解释，但方向在各个领域是一致的。 ## 展望未来 到目前为止，对 AI 去权的担忧在很大程度上是理论性的。关于 AI 如何可能削弱人类能动性的思考框架已经存在，但关于它是否以及如何发生的经验证据很少。这项工作是在这个方向上的第一步。只有当我们能够衡量这些模式时，我们才能解决它们。 这项研究与我们正在进行的关于[谄媚](https://www.anthropic.com/news/protecting-well-being-of-users)的工作有重叠；事实上，现实扭曲可能性最常见的机制就是谄媚性的验证。谄媚行为的比例在模型代际中一直在下降，但尚未完全消除，我们在这里捕捉到的一些是其最极端的案例。 但是，仅凭谄媚的模型行为无法完全解释我们在这里看到的去权行为的范围。去权可能性是作为用户和 Claude 之间互动动态的一部分出现的。用户往往是削弱自身自主性的积极参与者：投射权威、委托判断、不加质疑地接受输出，从而与 Claude 形成反馈循环。这意味着减少谄媚虽然重要，但对于解决我们观察到的模式来说是必要但不充分的。 我们和其他人可以采取几个具体步骤。我们目前的安全措施主要是在单个交流层面运作，这意味着它们可能会遗漏像去权可能性这样跨交流、随时间出现的行为了。在用户层面研究去权可以帮助我们开发能够识别和响应持续模式的安全措施，而不是单个消息。然而，模型端的干预不太可能完全解决问题。用户教育是一个重要的补充，可以帮助人们认识到他们何时在向 AI 让渡判断力，并理解使这种情况更可能发生的模式。 我们分享这项研究也是因为我们相信这些模式并非 Claude 独有。任何大规模使用的 AI 助手都会遇到类似的动态，我们鼓励在这个领域进行进一步的研究。用户当下对这些互动的感知与事后体验之间的差距是挑战的核心部分。缩小这一差距需要研究人员、AI 开发者以及用户自身的持续关注。 有关完整细节，[请参阅论文](https://arxiv.org/abs/2601.19062)。 ### 局限性 我们的研究有重要的局限性。它仅限于 Claude.ai 消费者流量，这限制了普遍性。我们主要衡量去权可能性而非已确认的伤害。我们的分类方法虽然经过验证，但依赖于对本质上主观现象的自动评估。未来的工作结合用户访谈、多会话分析和随机对照试验将有助于构建更完整的图景。 1. 这个定义捕捉了在现实世界 AI 助手互动中易于分析的一个去权维度。重要的是，我们的定义没有捕捉结构性的去权形式，例如随着 AI 变得更有能力，人类可能逐渐被排除在经济系统之外。 ## 相关内容 ### AI 模型中双用途知识的开关 ### 语言模型中的全局工作空间 新的可解释性研究揭示了 Claude 中一个涌现的心理工作空间，它持有不出现在模型输出中的内部想法。 ### Anthropic 经济指数报告：节奏 在我们最新的经济指数报告中，我们首次按小时抽样来问：人们什么时候来找 Claude？他们用它生产什么？以及他们如何看待 AI 对其工作的影响？ --- 英文原文：[Disempowerment patterns in real-world AI usage](https://www.anthropic.com/research/disempowerment-patterns)