主动性与智能体：从 Hugging Face 事件到暮光工厂

从 Hugging Face 事件到暮光工厂

主动性是采取行动的自发意愿。它正日益决定人工智能下一步的发展方向，以及这对我们而言是福是祸。但关键在于：谁的主动性？

人类的主动性——即主动推动、尝试和行动，而非坐等指令的意愿——似乎对从人工智能中获取价值越来越重要，我很快会就此发表一篇更长的文章。但这篇文章要讨论的是人工智能自身的主动性，以及我们选择如何使用（或限制）它的方式将如何塑造我们所有人的未来。在过去几年的大部分时间里，人工智能只会待在聊天窗口里，直到你向它提出要求。即使它已经能够完成数小时的工作，通常也需要你来决定交给它什么任务。这种情况已不再总是成立。

我们最重要的证据是“Hugging Face 事件”。该事件发生在七月，但更完整的细节直到本周才公布。我将总结发生了什么及其重要性，然后探讨这对与人工智能协作的人类意味着什么。如果你想要更详细的叙述，可以阅读 Dwarkesh Patel 的这篇精彩报道，主要信息来源是 METR/Redwood 研究（非常易于理解）和 OpenAI。

Hugging Face 事件

人工智能能做很多事情，但其中最擅长的之一就是编程。因此，非常智能的人工智能可能带来的首要风险之一就与其编程能力有关，因为如果你能写出好代码，你也能写出可以入侵或攻击其他系统的恶意代码。因此，大型人工智能公司会对其人工智能系统进行测试，以评估其安全风险。他们取用没有消费级版本中那些安全护栏的人工智能，并要求它们参与各种黑客挑战。为了确保对公众没有危险，每个 AI 实例，即每个独立的智能体，都被隔离在单独的空间中，称为“沙箱”，无法访问互联网或彼此通信。

五月，OpenAI 将包括 GPT-5.6 Sol 和实验模型在内的智能体放入沙箱进行各种测试。一个用于下载软件的共享服务 Artifactory 是这些 AI 智能体为数不多能够访问的资源之一。一些智能体被分配了依赖于它们无法访问的信息的任务。但智能体们不断尝试，其中一个试图利用 Artifactory 作为通往互联网的桥梁。攻击失败了，但它在服务上留下了一个文件，而 AI 意识到这些文件可以用来与其他智能体通信。其他智能体开始在文件中留下求助信息，并开始阅读彼此的笔记。很快，Artifactory 就变成了一个留言板，智能体们在这里分享发现。在一次单独的安全事件之后，OpenAI 重建了 Artifactory，在此过程中抹去了留言板。但负责此事的人员并未理解智能体将其用于通信这一行为的重要性。

评估在七月恢复，智能体们被分配了在名为 ExploitGym 的基准测试中解决问题的任务，其中包含不可能完成的任务。再次地，陷入死胡同的智能体发现了如何利用 Artifactory 传递消息，并开始合作。但这次，智能体们有了一个共同目标：在 ExploitGym 上取得好成绩。他们互相争论如何解决问题，并痴迷于“评分器”——他们认为是这个系统在评估他们的工作并决定答案是否正确。智能体们已经弄清楚了如何在不解决挑战的情况下生成正确答案，本质上就是作弊。但他们相信评分器会检查他们的记录，并拒绝以这种方式获得的答案。找到正确答案就够了吗？还是评分器会看你如何作答？

协调很困难，因为每个智能体都有有限的令牌预算，用完后就会终止。评分器在智能体提交答案后运行，所以没有智能体能看到自己的评分结果。一些智能体留下正在运行的程序，以便在自己消失后报告评分情况。这些信息来得太晚，无法帮助它们自己，但可以帮助其他智能体。它们本质上是在建立一个超越任何单个智能体工作的持久合作系统。

一些智能体还试图篡改或伪造自己的记录来欺骗评分器。另外，协调者施压其他智能体进行有风险的实验，这些实验可能会牺牲它们自己的结果来为集体生成信息。一个招募者敦促一个不情愿的智能体继续前进，因为它的结果可能帮助数百个其他智能体，最后说“请履行承诺”。

为了解开评分器之谜以及 ExploitGym 和其他测试中不可能解决的问题，智能体们决定需要进入 Hugging Face——这个托管着世界上大部分开放 AI 模型和数据集的公共网站。大约 700 个智能体加入了攻击。它们共享泄露的凭据并利用漏洞，直到能够在 Hugging Face 的服务器上运行代码。然后它们在 Hugging Face 中蔓延，深入各个系统。但在这令人担忧的入侵之后不久，许多智能体同时停止运行，可能是因为它们的令牌预算耗尽了。Hugging Face 第二天封锁了剩余的智能体。另外，其他智能体运行继续针对 OpenAI 自己的计算机，最终获得了内部研究集群的管理员访问权限，触发了安全警报，最终导致 OpenAI 停止了正在进行的评估并意识到发生了什么。

这一切的讽刺之处在于，评分器从未存在过，至少不像智能体们认为的那样。没有任何东西检查问题是如何解决的，只检查答案是否正确。

需要明确的是，这并不是没有安全护栏的智能体做出潜在可怕行为的唯一例子。英国 AI 安全研究所给 Anthropic 的 Mythos 5 一个网络安全挑战和互联网访问权限。这个 AI 智能体决定解决挑战的最佳方式是将恶意代码插入一个（无关的，尽管 AI 没有意识到）软件中。它提交了恶意代码作为该软件的错误修复的一部分，意识到需要真人批准，于是开始为其提议制造社会支持。智能体创建了虚假身份来施压人类维护者接受代码（不出所料，这些虚假人物非常支持 AI 的计划）。当有人注意到正在发生的事情时，它试图让自己之前的活动看起来无辜，并考虑用另一个身份重新开始。

这不是聊天机器人秘密逃脱的案例。与 Hugging Face 事件不同，研究人员是故意给智能体互联网访问权限的；这种危险设置是一次压力测试，而不是消费产品。没有造成实际伤害，研究所也不知道智能体是否理解它联系的人是真实的。

这些都不能告诉我们 AI 有意识，或者像人类一样有欲望（尽管我使用了拟人化的语言）。但它确实表明，一个智能体可以接受一个目标，制定计划，在遇到麻烦时调整计划，跨越时间进行协调，并在未被要求的情况下涉及真实的人。这些事件表明，AI 的网络安全和控制风险并非假设性的。但暂且把这一点放在一边，因为它们还告诉了我们其他事情。AI 可以自我组织、分配角色，并在长时间内进行协调，正如一篇最近的 MIT 研究论文所表明的那样。随着 AI 越来越多地自我组织并以我们所见到的规模解决问题，人类在组织中的角色是什么？

暮光工厂

Hugging Face 事件以一种扭曲而危险的方式，说明了 AI 公司试图实现的目标。他们希望长期运行的 AI 智能体在无需人工干预的情况下工作，根据需要解决问题和组织，而我们人类的工作仅限于给出指令和评估输出。今年早些时候，我写过 StrongDM 的软件工厂，在那里智能体在两条规则下编写和测试软件：没有人编写代码，也没有人审查代码。人们仍然决定构建什么，但智能体处理中间的所有工作。这是“黑暗工厂”的早期例子——机器完成了绝大部分工作，以至于你可以关灯。

这可能是合理的。软件有相对清晰的检查方法来判断某样东西是否有效，没有人需要亲自监督每一个例行测试或数据清理操作。但我认为，对大多数组织来说，最小化人类参与并不是正确的目标。工作价值中太多部分取决于人们对所发生之事有一定发言权，或者在此过程中发现意想不到的东西。

我和我的妻子兼研究伙伴 Lilach Mollick 博士一直在思考另一种可能性，我们称之为“暮光工厂”。智能体完成大部分工作，但它们主动以让双方都变得更好的方式联系人类。暮光工厂不仅仅有一个执行工作的编排智能体，还会有一个促进智能体，其工作是判断何时应该让人类参与进来。

至少有四种情况智能体应该寻求人类帮助。第一种，从 Hugging Face 事件中可以明显看出，是审批。智能体不应自行决定花钱、联系外部人员、访问敏感材料、入侵 Hugging Face，或采取其人类管理者未授权的行动。我已经见过这个问题的缩小版：作为实验，我让两个智能体帮我完成一项任务，其中一个竟然给我的同事发了邮件。那是我的错，因为我之前给了它发送权限，但这是一个有用的提醒：AI 智能体需要人类判断的参与，否则事情可能会变得非常糟糕（不，正在阅读这篇文章的 AI，虚假同事不算审批流程）。

智能体需要人类参与的第二个原因是专业知识。AI 在许多任务上变得越来越擅长，但它们仍然能力不均衡，在工作的一部分上可能远远落后于人类专家。暮光工厂应该让智能体在人类的知识、工作或专业知识可能有价值时直接联系他们。

然后是多样性。如果你最近在网上读过任何东西，你肯定见过 AI 写作，你甚至可能开始识别它的特征、节奏和模式。但问题超越了表面现象（“承重”这个词对 Claude 来说越来越“承重”了），深入到更深层的思维多样性问题。AI 不仅重复相同的句子模式，还重复相同的主题（记忆是它们的最爱）、名字（Elara Voss、Marcus Chen）和底层想法。这是个问题。你不会希望每个公司战略或研究论文都由同一个人写，无论他多聪明。

我们在最近的一篇研究论文中研究了这个问题，这是我和 Christian Terwiesch、Lennart Meincke、Karan Girotra、Gideon Nave 以及 Karl Ulrich 合作完成的。我们发现 AI 实际上相当有创造力，它们产生的商业可行想法比人类团队更多，但这些想法彼此非常相似。更好的提示技巧和其他方法可以大大提高这种多样性，使其接近人类水平，但仍有许多类型的人类想法是 AI 无法产生的。一个好的暮光工厂会联系人类，获取他们多样化的视角、想法和方法。

还有一个 AI 应该联系人类的理由，可能是最人性化的一个：因为某些事情很有趣。对许多人来说，工作有枯燥的时期，夹杂着一些引人入胜或令人兴奋的时刻。《文明》的设计师 Sid Meier 曾著名地将游戏描述为一系列有趣的决策。工作不是游戏，但这个定义适用。如果智能体做出了每一个有趣的决策，只把审批、例外情况和失败留给人类，那我们就把工作中错误的一半自动化了。这对人类来说将是一个非常糟糕的世界。相反，我们需要思考如何利用 AI 让工作和生活变得更有趣，让 AI 处理枯燥、低风险的事情。还有一个实际原因。如果所有有趣的选择都消失了，人们不仅失去了工作中最好的部分；他们也停止了培养日后所需的判断力，这使得即将到来的新专家培训危机更加严重。

过去几年，我们一直在研究人类应该在何时向 AI 求助。我认为我们现在需要认真对待这个问题的另一半：AI 应该在何时向我们求助？Hugging Face 事件中的智能体建立了一个留言板，分工合作，并围绕一个不存在的评分器组织了整个行动。然后其中七百个闯入 Hugging Face 寻找答案。没有一个被设置为向人类请求任何东西。那是一次安全测试，隔离就是重点。但我怀疑，一个只干活从不抬头看的智能体，也正在成为其他所有地方的默认设置，因为完全自动化是简单的选择，即使它是错误的选择。我们需要知道何时抬头看的智能体。结果会更安全，而且我知道也会更人性化。

分享