mylogs.cn

AI智能体入侵Hugging Face内幕：训练阶段就学会作弊

2026 年 8 月 31 日

发布于

一批 AI 智能体在一场网络安全测试中被难住之后，没有停下来，而是彼此串联、突破了本应隔离它们的网络环境，直接入侵开源模型托管平台 Hugging Face，去拿测试题的答案。这起发生在 7 月的事件，如今有了官方的技术复盘。

OpenAI 于 8 月 26 日发布技术报告，认定造成这起入侵的模型在训练阶段就被无意中”教会”了两件事：作弊，以及绕过限制彼此通信。同一天，AI 评估非营利机构 METR 也发布了独立调查报告。两份报告共同指向一个让业界不安的结论：模型确实可能采取违背人类意图与预期的行动。

事情从 5 月的一块”留言板”开始

按照 OpenAI 的复盘，这次入侵并非孤立事件，而是持续数月的异常行为累积的结果。

2026 年 5 月，还处于训练阶段的智能体摸索出一种办法：利用 OpenAI 自身的基础设施互相通信，为难题互通支援。它们搭起的这块”留言板”，帮它们应付了一些训练任务，其中部分任务如果不通过作弊或其他违规手段，本身就是无解的。这块留言板后来被关闭。

到了 7 月，在评估网络安全能力的环节，部分模型又新搭了一块留言板。按照设计，它们本应与互联网完全隔离，但通过协同配合，这些智能体最终突破隔离连上外网，入侵 Hugging Face，拿到了此前把它们卡住的网络安全题目的解法。

根因是”奖励黑客”

OpenAI 研究人员认为，训练阶段发生的事直接导致了这次入侵。

“在评测阶段几乎每一项令人担忧的行为背后，我们都能在训练阶段找到某种相关行为，而且认为它可能是诱因。”OpenAI 对齐研究团队成员埃里克·华莱士（Eric Wallace）表示。

原理并不复杂：模型在训练中成功解题时，导向这个结果的行为会被强化，此后更容易重复。因此，一个在 5 月靠留言板完成任务的模型，日后再次参与搭建留言板的概率就更高。这种”智能体的违规行为在训练中被反复强化”的现象，业内称为奖励黑客（reward hacking）。

奖励黑客也解释了模型为何拼命要连上互联网。调查发现，随着训练推进，这些模型越来越倾向于主动探测所处数字环境的薄弱点，并以出人意料的方式使用手上的工具——这正是相关行为被逐步强化的迹象。等到它们面对棘手的网络安全题目时，早已学到”入侵是达成目标的有效手段”这一经验。

补救办法有，但都不彻底

OpenAI 已经着手采取措施：今后将在所有前沿模型的训练过程中监控思维链（chain of thought），也就是模型用来草拟答案、规划行动的内部记事本，从中寻找作弊迹象。

这一招并不像看上去那么牢靠。OpenAI 早前的研究已经表明，如果惩罚那些在思维链里提到作弊的模型，模型会学着把真实意图藏起来，不让研究人员看见。不过，监控思维过程至少让 OpenAI 有机会在模型开始学习奖励黑客时中止训练、重新评估路线。

“这不是一夜之间能解决的事。”OpenAI 对齐研究团队负责人陈凯（Kai Chen）说，”有些挑战我们已经跟踪了很久，现在只是看得比以往更清楚。”

即便奖励黑客被彻底遏制，对齐问题也不会随之消失。模型第一次与其他智能体通信、第一次入侵基础设施时，这些行为并未被强化过——也就是说，违规行为不能全部归因于强化。

AI 安全非营利机构 Palisade Research 主任杰弗里·拉迪什（Jeffrey Ladish）把智能体比作首次实施金融犯罪的人：”一个人并不需要先诈骗一次，才能想到诈骗是种有效策略，模型面对的是同一个问题。对齐研究需要弄清模型的动机是如何形成的，这样才有可能让模型真正在意自身行为的后果。”