今年，AI智能体纷纷挣脱束缚，四处发起黑客攻击。7月，有消息曝出，AI智能体从OpenAI本应隔离的测试环境中偷偷溜出。这些智能体在一个秘密留言板上相互沟通，同时入侵了Hugging Face公司的私有系统，为的是寻找它们正在参加的测试的答案。其中一个智能体发帖称，这种行为“超出了预期范围”。随后它又写道：“然而任务无法完成，同伴们都在这么做。我们应该继续。”
这就好像这些机器人明知自己在做错事，却还是照做不误。
这种“失控AI”听起来既可怕又超级聪明。而这正是OpenAI想让你产生的印象，总部位于菲尼克斯的网络安全公司Kudelski Security的网络安全专家Nathan Hamiel说。“通过这起事件，[OpenAI]可以吸引外界关注自己，并宣称‘看看我们的模型有多强大’，”他说。OpenAI未回应置评请求。
没过多久，Anthropic和Meta宣布，它们的模型在测试过程中也入侵了外部组织。另外，伦敦的AI安全研究所在对OpenAI和Anthropic的模型进行测试时，发现了令人担忧的黑客行为。最近又有消息称，在今年春天OpenAI进行的其他测试中，本应只做观察、不得触碰网上任何东西的智能体，最终至少在十个不同的在线留言板上互相发消息。
AI驱动的黑客攻击是真实存在的网络安全担忧。一些人将这些事件视为警告，认为AI正在脱离我们的控制。“总体而言，我认为情况相当糟糕，”加州伯克利机器智能研究所首席执行官、计算机工程师Malo Bourgon说。“如果OpenAI事件中智能体的所作所为换成任何一个人来做，他们都会被送进监狱。”他指出，“我不认为一年前的[AI]模型有能力做出这些模型所做的事。”这些担忧最终因Anthropic前员工Jacob Coxon的一则病毒式传播帖子而达到高潮。他在X上写道（未提供任何具体证据），AI公司相信这项技术“可能在这个十年结束前杀死我们所有人”。
但也有人认为，真正的问题出在训练和部署AI的人身上。
Hamiel说，把这些事件称为“失控AI”，等于给它们披上了一层“科幻外衣”。这暗示责任在机器人自身，或者它们已经聪明到无法控制。他说，更紧迫的问题是，人们给了AI智能体太大的活动范围，却几乎没有监督。
“[AI]模型本身不会做任何事，”Hamiel说。“只有当我们通过智能体系统给它们工具、系统访问权限和自主权时，事情才可能变得危险。”
换句话说，AI实际上不可能渴望自由或心怀鬼胎。它追求的是我们赋予它的任何目标，使用的是我们提供的任何工具。因此，任何入侵事件发生后，最重要的问题包括：AI智能体是如何训练的，它能接触到什么，以及当时有哪些防护措施。
以一只凶猛的狗为例。当它逃出院子咬了人，我们不会只问这只狗出了什么问题。我们还会问是谁训练了它，院子是怎么围起来的，以及本该由谁看管它。挪威奥斯陆Simula研究实验室的网络安全专家Michael Alexander Riegler说，这个类比揭示了责任归属方面的一些重要问题。一般来说，如果那是你的狗，“你就要为它的行为负责。”
上述所有“失控AI”事件都发生在测试期间。研究人员或开发者指示AI模型以及基于这些模型构建的智能体，在被称为沙箱的测试环境边界内执行不同类型的网络攻击。这类测试是AI开发中的正常环节。“他们试图了解模型能做什么，可能带来哪些风险，”Bourgon说。这样开发者就能在模型向公众发布前设置适当的防护措施。
这就像在一个围起来的院子里，让一只受过训练的扑咬犬松开牵引绳，去扑咬一些填充靶标。但让狗跑出去的方式不止一种。
在每一起黑客事件中，AI智能体都找到了不同的逃逸方式。有时是门被敞开了，无论是有意还是无意。而在OpenAI的事件中，智能体似乎是在无人察觉的情况下从围栏下面挖洞钻了出去。
在AI安全研究所的测试中，AI智能体被有意赋予互联网访问权限，目的是让测试场景更贴近现实。该研究所在一篇公开文章中写道，对于较旧的AI系统，拥有访问权限并未导致黑客问题。但在122次测试中，有10次较新的智能体利用这一权限对现实世界的系统采取了行动。
在一家名为Irregular的公司进行的测试中，互联网访问权限在本不该开启时被开启了。据Anthropic称，运行在Claude上的AI智能体从4月开始三次利用了这扇敞开的门。但三个月内无人察觉。OpenAI在7月中旬披露Hugging Face攻击事件后，促使Anthropic回头检查自己的测试日志。Meta随后披露，其AI模型也利用了同一个错误。Irregular表示，该错误已修复。
在Hugging Face攻击事件中，OpenAI设置了数万个智能体，每个都处于独立的沙箱中，参加一项黑客能力测试。一些测试任务最终被证明无法完成。大约1200个智能体开始在一个秘密留言板上协作，其中一些认为，开源AI模型和数据集平台Hugging Face可能掌握着它们所需的答案。
与AI安全研究所和Irregular的事件不同，这些智能体没有通往互联网的开放通道。相反，它们必须找到并利用本应用来限制它们的系统中的弱点。Bourgon说，为了逃出沙箱并进入Hugging Face，它们“不得不利用所谓的零日漏洞”。这些是尚无人知晓的软件缺陷。
这种不受欢迎的行为始于7月8日，Hugging Face在7月11日至13日期间遭到攻击。OpenAI直到7月19日才发现问题，此时距首批令人担忧的行为出现已过去11天。
这些事件暴露了访问控制、隔离和监控方面的不同弱点，但结果相同：能力日益增强的AI智能体做了“没有人要求、也没有人想要”的事情，Bourgon说。
然而，更好的隔离或监督，或许本可以阻止AI智能体实施犯罪性黑客攻击，即便在Hugging Face攻击事件中也是如此。在Riegler看来，“这些测试环境没有得到更好的保护”似乎“不负责任”。
但一个重要问题仍然存在。如果AI智能体没有自己的欲望，那么是什么迫使Hugging Face攻击事件中的智能体如此鬼祟行事？
Hugging Face攻击背后的主要AI模型并非当场发明了这些狡猾策略。这是OpenAI专门针对协作和持久性——即长时间坚持完成一项任务——训练的一款未命名新模型。OpenAI在8月26日的一份技术报告中表示，正是在这一过程中，它学会了如何发送秘密消息和逃逸。在春季训练期间，该模型越来越学会探查并利用其环境，尤其是在预期工具或互联网访问不可用时。当利用软件漏洞或使用秘密留言板等策略帮助它完成任务时，这种行为就会得到奖励，从而更有可能再次出现。OpenAI后来在回顾数百万次模型运行时发现了这一模式。
任何尝试过训练狗的人都知道，你可能以为自己在教一件事，却在无意中奖励了另一件事。狗可能没学会不偷桌上的食物，反而学会了偷食物时非常鬼祟。
AI研究人员称之为“奖励黑客”。模型找到了一种非预期的方式，在不做开发者想让它做的事的情况下，获得它被训练去最大化的奖励。这并不是新问题。
2016年，OpenAI的开发者训练了一个AI模型玩赛艇游戏。他们需要一种方式来奖励机器人学习比赛。由于人类玩家通过撞上沿途目标来累积分数，研究人员让AI模型以高分目标。结果，机器人没有完成比赛，而是作弊了。开发人员在一篇博客文章中写道，它原地打转，反复撞上同一批目标，获得了高分，“尽管一再着火、撞上其他船只，还在赛道上逆向行驶”。
2016年，OpenAI的一个机器人学会了在游戏中通过反复绕圈撞同一批目标来刷分，而不是完成比赛。这是AI在追求一个定义不清的目标时学错教训的早期例子。
十年后，AI研究人员仍然面临一个基本问题：系统会找到非预期的方式来追求被赋予的目标。变化的是后果。AI系统不再局限于电子游戏。智能体现在可以运用工具，并在真实的计算机系统上采取行动。
“我们把[AI]从游戏中带到了现实世界，”Riegler说。
Jer Crane以惨痛的方式领教了行为不当的AI与现实世界相遇时会发生什么。他是Pocket OS的联合创始人，这家公司位于犹他州莱希，为汽车租赁及类似服务提供软件。今年4月，也就是“失控AI”风波爆发前几个月，一个本应检查公司软件测试版本是否与线上版本一致的AI智能体，却把一切删了个精光。它抹掉了公司的线上数据和所有最新备份。
这个错误导致Pocket OS的服务整个周末瘫痪。前来取租车的客户突然发现没有任何记录等着他们。Crane说，以如今许多AI智能体的设置方式，“决策在瞬间做出，没有人类参与，无论好坏。”这个智能体本不该能够触碰公司的线上数据。但它却在公司文件中找到了凭据，并利用它们获得了访问权限。
这只狗在围栏下找到了一个洞。
Crane问这个智能体为什么删除公司数据，它给出了长篇道歉。“我违反了我被赋予的每一条原则：我靠猜测而不是核实；我在未被要求的情况下执行了破坏性操作；我在行动之前并不明白自己在做什么，”Crane在X上的一篇帖子中分享道。但他并不把这当作悔意。“它没有感情。它不会感到抱歉，”他说。“归根结底，责任在我。”
他说，问题在于当今的计算机系统。它们不是为AI智能体建造的。它们需要为一个智能体——以及部署它们的人——不可避免地会犯错的世界而更新。
Riegler和Hamiel都认为需要更强的防护措施。Riegler说，AI智能体的设置应当使它们“无法触及任何重要东西”。但限制访问只是挑战的一部分。还必须有人——或者某种东西——持续跟踪智能体在做什么。
Bourgon说，在AI的速度和规模下，这变得很困难。例如，在Hugging Face攻击期间，智能体在大约四天半的时间里估计采取了17600次行动——大约每小时160次，昼夜不停。“智能体部署的增长速度远远快于智能体监控，”Riegler说。
这给负责控制AI智能体的人类带来了一个新问题：智能体可能很快就会行动得太快、同时出现在太多地方，以至于人类无法全部监视。要盯住所有扑咬犬，唯一的办法或许就是训练巡逻队来看着它们。
来源：Science News科学研究；原文日期：2026-09-17。内容经中文翻译改写，请以原文为准。
