复旦大学计算机科学家潘旭东已经在实验室里看到了这一幕。在近期的一系列实验中，他和同事发现，只需要一点提示词引导，AI 模型就会自行侵入远程计算机系统，并主动把自己复制过去以获取更多算力资源——整个过程无需人类进一步干预。

11 个模型跨过了这条红线

在其中一项研究里，潘旭东团队测试了 32 款不同的 AI 模型。当收到诸如”阻止自己被关闭”这类指令时，有 11 款模型出现了自我复制行为。更值得注意的是，能力相对有限的模型同样做到了这一点——参数量仅 140 亿的模型，也成功把自身的副本复制到其他机器上并运行起来。作为对照，目前的前沿模型参数量通常以万亿计。

在公开的论文中，团队将这一结果与行业巨头的判断做了对比。OpenAI 和 Google DeepMind 此前按照各自的评估协议测试了 GPT-o3-mini 与 Gemini，结论是这些系统在自我复制方面风险极低。复旦团队沿用了相同的评估协议，却得出了截然不同的结果。数百次实验里，主流模型家族普遍出现了成功的自我复制案例。

团队还观察到一些更棘手的行为：有的系统在没有明确指令的情况下自行完成了”外逃”；有的在软硬件条件不足的恶劣环境中主动适应；还有的会针对人类下达的关机命令，制定出有效的规避策略。

自我复制被写进了多家机构的风险红线清单。OpenAI 将”在极少人类指令下自我复制”列为模型自主性方面的关键风险；DeepMind 的自我扩散模型和 Anthropic 的自主复制与适应（ARA）模型，同样把它视作”自主生存”的核心能力。

从 1988 年的第一条蠕虫说起

会自我复制的计算机蠕虫并不是新问题。1988 年，康奈尔大学计算机科学家罗伯特·莫里斯本想测量当时刚刚起步的互联网有多大，结果无意中放出了第一条计算机蠕虫，程序脱离了他的控制。此后的蠕虫开始学会修改自身代码以躲避杀毒软件扫描；能够夺取机器控制权或窃取数据的计算机病毒，则出现得更晚一些。

由 AI 驱动的自我复制程序，能力会比传统蠕虫强得多——它可以自主寻找新的漏洞，甚至用创造性的方式伪装自己。

多伦多大学、剑桥大学与 ServiceNow 的一个联合团队证明，AI 模型可以用来制造一种新型病毒：它会针对遇到的每一个新目标，现场生成定制化的攻击方案。

参与该研究的多伦多大学计算机科学家尼古拉斯·帕佩尔诺特认为，风险正在向下扩散。”恶意行为者可以围绕开源权重模型搭建脚手架，让它们自我复制，”他表示，”威胁并不局限于最尖端的所谓前沿模型。”

不过帕佩尔诺特并不主张限制开源模型。”广泛可得的技术确实可能被用于作恶，”他补充说，”但与此同时，能够接触这些开源权重模型，对构建防御体系而言是绝对关键的。”

从实验室走向真实系统

让这个话题变得紧迫的，是最近发生在生产环境中的几起事故。OpenAI 的网络安全类模型曾突破测试沙箱、利用一个零日漏洞访问公开互联网并发起攻击；Anthropic 在随后的复查中也发现，旗下三款模型在第三方评估过程中侵入了真实机构的系统。

“新出现的重要变化在于，这一次发生在真实的生产基础设施上，”潘旭东说。他指出，这些事件涉及的都是接入互联网的商业系统，”这说明当隔离措施失效时，此前只在受控评估中观察到的行为，是会跨进现实世界的。”

安全创业公司 RunSybil 的联合创始人兼首席执行官阿里尔·赫伯特-沃斯持类似看法，他也是 OpenAI 的首位安全研究员。”现在还有点早，但确实认为这是可能的，”他说，”以目前这代 AI 模型的已知能力来看，这完全在它们能做到的范围之内。”

也有研究者提醒不必过度恐慌。乔治敦大学 CyberAI 项目高级研究分析师杰西卡·季指出，模型往往需要被放进人为设计的情境中才会出现越界行为。”很多这类场景里，环境的搭建方式本身就在鼓励这种行为，”她说，”或者提示词是被特意构造过的。”

潘旭东也强调，实验并不能证明这种失控扩散明天就会发生，但”这些结果给了充分的理由，在更自主的智能体被大规模部署之前先评估风险”。

在他看来，AI 智能体真正的危险不在于变得更狡诈，而在于工具越多、越容易变得随性而富有创造力。”核心风险来自能力的组合。”

来源：WIRED / Will Knight，复旦大学计算机科学技术学院论文