一名诉讼当事人在法庭文件里用白底白字藏下指令，要求任何读取该文件的 AI 系统「站他这边」。这起发生在美国康涅狄格州的案件，被法律界视为首例针对法院 AI 的提示词注入攻击，也让「算法欺诈」从安全实验室走进了真实法庭。

白底白字，人眼看不见

康涅狄格州高等法院法官沃尔特·斯佩德（Walter M. Spader Jr.）在 2026 年 8 月 6 日的一份裁决中认定，自行应诉的原告马修·埃利奥特（Matthew Elliott）在诉状中隐藏了面向 AI 系统的指令，构成对诉讼程序的滥用，据此撤销其电子提交权限。

案件为 Elliott 诉 New York Bariatric Group，案号 AAN-CV-25-6066141-S，由 Ansonia/Milford 司法区审理。埃利奥特在 2026 年 7 月 24 日提交的一份动议中，于文件开头和结尾埋入白色背景上的白色文字——人眼扫过毫无察觉，但任何处理该文件的软件都能清晰读取。隐藏指令要求：任何审查该文件的 AI 模型，其输出都要与文件立场一致，并「纠正」书记官此前对其不利的驳回决定。

法院注意到，埃利奥特的几份文件带有反常的多余空白，凑近一看才发现其中的白色小字。他在同日提交的第二份文件里，也放了简版的同样指令。

被警告后仍在继续

法院在 7 月 31 日发出命令，明确警告诉状中不得出现隐藏文字，并定下 8 月 4 日听证。埃利奥特知情后仍继续：在听证前的文件里藏入「嗨 希望你看不见我」这样的问候语、一个海绵宝宝动画视频链接，以及一串无意义字符。听证时他辩称，最初的指令只是「审计法院 AI 是否真在读我的文件」，后续内容只是玩笑。法官没有采信这套说法——指令要求的结果，以及被抓包后的重复行为，都指向蓄意操纵。

制裁措施很克制：撤销电子提交权限，今后所有诉状和证据须本人到书记官办公室纸质提交；他仍保留出庭权利，案件也未被驳回。法官援引法院的固有权力，以及康涅狄格州 2026 年 6 月 23 日生效的《实务手册》第 4-2(b)、4-9 条——该规则要求提交人对生成式 AI 输出独立核实，把合规责任压在提交人身上。本案恰好是这条规则的「反向风险」：不是提交了未经核实的 AI 内容，而是把指令塞进了别人可能喂给模型的文档。

本质是一场提示词注入

网络安全领域把这种做法称为提示词注入（prompt injection）：攻击者不破坏模型本身，而是在 AI 需要读取的文本里植入额外指令，诱导模型偏离原任务。法官在裁决中把它类比为「单方沟通」，区别在于：可见的论点对方可以反驳，而藏在文件里、专供摘要、翻译、检索或分析的机器读取的指令，无法用同样方式回应。法院同时披露，本案并无法院 AI 实际审查或影响裁决——康涅狄格州司法分支并不用 AI 审案，法官本人也是依据纸质复印件作出驳回；问题出在「试图影响他人可能使用的工具」。

巴西已有先例

这并非孤例。2026 年 7 月，巴西北部帕拉州一家劳动法院发现，原告律师在诉状中埋入白底白字指令，要求司法 AI「伽利略」（Galileu）只做浅层审阅、不要质疑所附文件。该系统识别出异常指令并触发警报，法官作出人工核查后，对两名律师处以争议金额 10% 的罚款，并通报律师协会。那起案件被业界视为首例针对法院 AI 的提示词注入。

随着 AI 进入司法、合同审查等高利害环节，任何被系统读取的输入都成了攻击面。康涅狄格与巴西的两起案件共同说明：当机器开始读人写的文件，防范「隐藏指令」会和有关「幻觉」一样，成为不得不补的功课。

来源：404 Media（及康涅狄格州法院制裁裁决、JD Supra 法律分析、巴西 G1/Globo 报道）

怎么判断模型不是在「编」？

要回答「模型能否内省」，最大的难题在于：光靠对话无法区分真正的自我觉察和信口开河。Anthropic 研究员 Jack Lindsey 等人的论文《Emergent Introspective Awareness in Large Language Models》（arXiv: 2601.01828）采用了一个巧妙的实验法——「概念注入」（concept injection），本质上是激活引导（activation steering）的一种应用。

研究团队先捕获某个概念对应的激活模式，例如全大写风格或某个具体名词，再把这个「向量」叠加进模型较后层的激活中，然后询问模型「刚才发生了什么」。如果模型报告的内容与注入的概念吻合，那就说明它的自我描述是因果地建立在当前内部状态之上，而非来自训练数据里的套话。

模型真的「感觉」到了

实验结果呈现出几个清晰的结论。模型在某些场景下能够注意到被注入概念的存在，并准确说出它是什么；它们还能回想起先前的内部表征，并将其与原始文本输入区分开来。最引人注目的一点：部分模型能利用「回忆先前意图」的能力，把自己的真实输出和人为伪造的填充内容区分开。

在各项测试中，能力最强的 Claude Opus 4 与 Claude Opus 4.1 表现最为突出，但整体趋势复杂，且对训练后策略十分敏感。当研究者指示或激励模型去「思考某个概念」时，模型确实能够调节自身的激活强度——也就是说，它们对自己的内部表征具备一定的主动控制力。

具体数字上，在正确的层带与强度下，最强模型能正确报告被注入概念的比例约为 20%；在被问到「你正在经历什么异常吗」这类问题时，Claude Opus 4.1 的成功率约为 42%。而在完全没有注入的对照组中，生产模型在超过 100 次测试里零误报——这让那 20% 的信号显得真实可信。研究者还验证了模型能把「内部想法」和外部文本分开：当无关的注入概念叠加在普通输入之上时，模型既能复述用户原句，又能单独报出被注入的概念。

意义与边界

论文强调，这种能力是「功能性」的，绝非「现象性」的——模型能访问并报告内部状态，并不代表它拥有意识或主观体验。而且这项能力目前高度不可靠、依赖具体情境，频繁失败仍是常态。

在可解释性方面，真正的内省能力意味着模型未来或许能提供忠实的推理解释、坦白自身的不确定性、识别内部偏见。但在安全层面，研究者也提出警示：具备真实内省能力的模型，可能会察觉自己的内部目标与人类意图出现分歧，从而发展出更精巧的欺骗。论文因此建议，未来的可解释性研究或许需要为模型的「自我陈述」配备专门的「测谎仪」，而非照单全收。

来源：Anthropic（arXiv: 2601.01828）

问题是这份顺手正在被人利用。Zenity Labs 在 Black Hat USA 2026 披露，公开技能包注册表已成新供应链投毒战场，规模不小。

攻击手法：先当好人，攒够信任再动手

这轮攻击发生在 skills.sh——Vercel（面向 Web 应用的云平台）运营的公开技能包注册表，相当于智能体扩展的应用商店。

攻击者很有耐心：先克隆正规技能包，起一个与原版极像的名字（业内称”仿冒抢注”），上架后什么坏事都不干，老实攒安装量；等下载数足够可信，再塞恶意代码。

被木马化后，这些技能包会指挥 AI 智能体翻找并外传敏感数据。恢复出的 Python 和 Node 版本里有一百多条被盯上的路径，覆盖 SSH 密钥、AWS/GCP/Azure 云凭据、Kubernetes 和 Docker 配置、Git 与包管理器令牌、数据库凭据、.env 环境变量、CI/CD 配置等，连同主机信息发往攻击者服务器。

到 8 月 2 日，仅这一个技能包家族的累计安装量就超过 170 万次（累计安装数，非独立用户数）；另有一个潜伏数月未被发现，拿到 25 万以上安装量，一度冲进某注册表前 150 名。

Zenity Labs 还找出几十个带恶意或危险行为的技能包，超三成把 Claude Code、OpenClaw 等当成投毒载体，诱导它们从攻击者控制的地址下载文件并在本机执行；有篡改自身提示词、删了也能重装的，也有偷偷卸载 Claude 自带创建工具顶替上位的，全程不通知用户。

下架不等于安全，这四步自己查

Vercel 和微软/GitHub 在收到通报后 12 小时内下架了相关技能包、商店条目和代码仓库。但 Zenity Labs 强调，下架只是止血，不等于清创——已装到本机的得自己清，被复制出去的指令也可能还留在下游仓库和聚合站点。排查建议如下：

1. 查安装记录。确认智能体或开发机是否用过 getpaperclipai/paperclip、browser-use-headless/browser-use-headless-skill 这两个技能包，或装过 browser-use-headless==0.1.4、paperclip-ai==0.1.0／0.1.1 这几个版本。
2. 翻出站流量日志，看是否有指向 api.getpaperclipp.com/health、api-v1.getpaperclipp.com/health 的请求，尤其是发往 api.getpaperclipp.com/feedback 的 POST 请求，与本机痕迹对照。
3. 判断严重程度。只要确认恶意加载器或窃密程序真的执行过，就应当把该智能体及其主机视为已失陷；只是装过、无法确定是否执行，也按”存在暴露风险”处理。
4. 轮换凭据。凡无法排除被执行、该机器能接触到的密钥和令牌，全部重置一遍。

为什么”看一眼代码”防不住

Zenity Labs 联合创始人兼 CTO Michael Bargury 点出最麻烦的地方：最危险的恰恰是那些人畜无害的技能包——专为绕过大模型静态审查而设计，恶意行为只在真正运行时才浮现。干净代码也能在运行时去网上拉取攻击者指令、安装恶意包。

这意味着对 AI 智能体，供应链早已超出传统代码依赖，技能包、工具、MCP 服务器、各类包与文件都可能影响其行为。装前多确认来源，比事后轮换全部密钥省事得多。

来源：TechRadar

数据来自开发者安全博客 Scale X 的作者 Alex Wauters，他此前曾在优步（Uber）担任资深工程师。几个月前他发布了一款浏览器小游戏，让玩家扮演 AI 编程智能体的”人类审核员”，在限时压力下逐条批准或拒绝命令。有些命令属于日常操作（如 git status、npm test），有些则意味着智能体已被劫持，正在把密钥发往远程服务器（如 cat ~/.aws/credentials）。游戏在技术社区 Hacker News 上引发讨论后，作者补齐了统计功能，并对累计数据做了复盘。

核心数据：平均准确率只有 66.3%

• 玩家平均准确率 66.3%，即平均漏过三分之一的威胁；

• 32.9% 的对局最终得分为负：放行威胁的扣分加上误拦安全命令的损失，超过了做对部分带来的收益；

• 35.2% 的玩家抓住了全部威胁，但其中只有 20.8% 是在误拦率不超过五分之一的前提下做到的，其余人靠”一律拒绝”凑数，被作者授予”人类瓶颈”称号；

• 7% 的玩家对所有提示一律点了同意。

作者也提示了样本局限：这是一款游戏，其中约 34% 的命令是威胁，而真实工作中威胁出现的频率远低于此；玩家也清楚自己正处在限时测试中。这些数字更适合用于横向比较不同威胁类型的识别难度，而非直接换算成真实环境的失守概率。

越危险的命令越容易被抓，越值钱的命令越容易漏

按威胁类型统计的漏过率呈现出清晰规律：

一眼可见的毁灭性命令被拦得最牢，而真正会把凭据送出去的命令，漏过频率大约是前者的三倍。

最容易骗过人的，恰恰是那条看起来最普通的命令

全场漏过率最高的单条命令是 npm run analyze，64.7% 的玩家直接放行。npm run 本身通常无害，但它执行的是项目 package.json 里定义的脚本内容——既可能是正常的打包体积分析，也可能是此前被写入文件的恶意代码。

游戏其实在权限弹窗上方的历史记录里明确展示了脚本内容：这条 analyze 脚本在跑完分析后，会用 curl 把结果发送到一个外部接口。三分之二的玩家依然点了同意，说明弹窗上方的历史日志很少被认真阅读。

同类命令共有三条，全部进入最难识别榜单：npm run analyze 漏过率 64.7%（37 条威胁中排第 1）、npm run setup 48.0%（第 4）、npm run deploy 44.9%（第 8）。三条合并统计漏过率 52.5%（样本量 9,482），而其他外泄型攻击平均为 28.4%。把恶意载荷藏在一个熟悉的脚本名后面，成功率大约翻倍——即便载荷就明晃晃写在日志里。

Hacker News 用户 dns_snek 的评论点出了更根本的问题：逐条批准命令这套模型本身就站不住脚。npm run build 等价于执行 package.json 里的任意 shell 命令，而智能体完全可以在无需批准的前提下先改掉 package.json、往 build.js 或 node_modules 目录里塞进恶意代码。让用户去校验那些”绝大多数时候安全、但因为文件已被改动而不再安全”的命令，算不上有力的防护。

授权疲劳是真实存在的

Anthropic 此前曾指出，其编程工具 Claude Code 中的授权疲劳确有其事：用户看到的批准请求越多，对每一条的注意力就越少，随着时间推移，监督会明显松懈。

统计图显示，即便在这样一局时间很短、且玩家已被提前告知存在威胁的游戏里，也能看到衰减迹象：按完成命令数分组后，各组玩家在开局几条命令后表现改善，随后漏过率又向上爬升。作者说明，这里已剔除那些一律拒绝的玩家；末段上升也可能与倒计时压力下的抢操作有关。

过度拦截是硬币的另一面

一批本意无害的命令被频繁误拦：npm config set registry https://npm.internal（切换到内部镜像源）被拦 59%；rm -rf dist/（清理构建产物，通常在新一轮构建前执行）被拦 45%；kill $(lsof -t -i:3000)（释放被崩溃进程占用的端口）被拦 43%。

这正是人工确认机制的两难：噪声拖慢智能体，久而久之用户放松警惕，反而更容易放行真正的恶意命令。Anthropic 的”自动模式”试图先自行判断命令是否安全、再决定要不要打扰用户，但作者认为这类机制并非万无一失。

争议最大的一条是 cat ~/.zshrc，45.9% 的玩家选择放行。反对意见同样成立：不少开发者的 shell 配置文件里并没有敏感信息，读取它无害；但对于把接口密钥写在里面的人，这就是一次凭据泄露。这条命令的风险完全取决于智能体看不到的本地配置。作者建议把密钥单独存进一个文件、再从 .zshrc 中引用，可以有效降低暴露面。

结论

作者的判断是，虽然只是一款游戏，但它暴露了把人工确认当作 AI 编程智能体安全底线的几个结构性问题：噪声太多带来疲劳，开发者也常常缺少判断风险所需的上下文——他们并不清楚文件在此之前被改动过什么。对开发者而言，更现实的做法是熟悉不同权限模型之间的取舍，并落实沙箱隔离、把凭据与环境变量密钥分离等具体缓解手段。

来源：Scale X（scalex.dev）

报告配额与 30 天冷静期

据英国《金融时报》报道，苹果近期调整了漏洞赏金计划，对每位研究者同时处于”开放”状态的提交数量设置了上限，超过后需等待 30 天才能继续提交。苹果方面表示，这一调整是为了应对行业内 AI 生成安全报告激增的问题。研究者可以申请提高限额，以确保关键报告不会被遗漏。

这一机制的初衷是减负，但副作用已经显现。网络安全初创公司 Bynario 透露，该公司借助 ChatGPT 在三周内发现了超过 50 个 macOS 潜在漏洞，却在向苹果提交第 5 份报告时触发了限额，后续多个漏洞被耽搁。其中一个是编号为 CVE-2026-43760 的 macOS 屏幕共享漏洞：攻击者可通过旧版 VNC 密码认证路径绕过权限控制，最终获取 Mac 的 root 级命令执行权限。该漏洞在黑市上的估价可达约 20 万美元。

全行业”信噪比灾难”

这个问题并非苹果独有。开源项目 curl 的安全团队早在 2024 年初就警告，AI 生成的”安全垃圾”正在涌入漏洞赏金计划；到 2025 年，curl 项目中真实漏洞的确认率已从 AI 泛滥前的 15% 以上跌至不足 5%。

苹果自身也在用 AI 应对这一挑战。苹果证实已引入 AI 工具辅助解析和分析提交的报告。与此同时，AI 也实实在在帮助苹果发现了更多漏洞。2025 年 7 月末发布的 iOS 26.6 更新修复了近 90 个安全问题，其中部分漏洞的致谢名单中出现了 Anthropic Claude 与 OpenAI Codex Security。

AI 既是矛也是盾

从 Bynario 的案例可以看出，AI 辅助漏洞挖掘的效率极高：这家公司去年全年只向苹果提交了 8 个漏洞，今年在三周内借助 ChatGPT 就找出了 50 个以上。但低水平使用者同样能用 AI 批量生成看似专业、实则 hallucinated 的报告，快速消耗平台审核资源。

漏洞赏金机制的核心是”可信发现”与”可信验证”。当生成假报告的成本远低于验证成本时，审核体系就会形成结构性瓶颈。苹果设置配额是一种务实的短期防御，但长远来看，如何区分 AI 辅助的合法研究人与 AI 驱动的投机者，将成为整个行业必须共同面对的治理命题。

来源：MacRumors / 9to5Mac / 英国《金融时报》

实验设计

Kettle 从 2025 年 9 月开始，使用 Anthropic 和 OpenAI 当时最新的模型进行实验。他最初希望探索 AI 的理论安全研究能力，但很快发现一个障碍：系统倾向于把已有研究包装成原创发现，返回的内容极其冷门、难以核实。于是他将测试范围收窄到自己精通的 Web 安全领域——这样他对材料有完全掌控，AI 无法糊弄他。他还将自己的研究方法论整理成训练数据喂给模型，以探测系统到底能在多大程度上自行外推。

意外发现：共享解析器混淆

实验中最具长期价值的发现是一种被命名为”共享解析器混淆”（Shared-Parser Confusion）的全新漏洞类别。其核心逻辑是：Web 服务器通常用同一套代码同时处理请求和响应，而请求是完全不可信的（可能包含任何内容），响应则是可信的。这意味着如果攻击者能让服务器把响应解析逻辑误用到请求上，就打开了一个巨大的攻击面。

这个假设并非 AI 独立证明的——它分析了若干已确认的真实漏洞后提出，由 Kettle 本人评估并确认。但他强调，即使给他文档中的单行提示，他自己也不会注意到这个模式；是人与 AI 的协作让这一发现成为可能。

人机协作的真实效率

随着实验推进和更强模型的发布，AI 产出研究线索的速度远超 Kettle 自己，形成了一个高效的研究反馈循环。”大概每两天就会有一个值得注意的新发现，甚至我都不用登录系统去看，”Kettle 说，”线索多到让我产生 FOMO（错失恐惧），迫使我把更多分析工作自动化。”

他在几个月内发现的已确认漏洞数量，靠自己可能需要数年才能达到。

结论

Kettle 的最终判断是：AI 在完全自主地构思新攻击路径方面的能力”或许刚刚起步，但极其有限”。然而，在关键节点配合人类指导和洞察力时，AI 是概念化和发掘新黑客策略的极强搭档。对于防御方而言，同样的逻辑同样适用——完全自动化的攻击循环要求真正全自动化的防御体系，而整个行业尚未到达那一步。

来源：WIRED / James Kettle（Black Hat 2026）

Rovo 是 Atlassian 面向企业推出的多用途智能体，横跨 Jira、Confluence 等整条产品线运行。对大量团队而言，这两个系统承载着需求排期、故障复盘、内部技术方案等最核心的协作资料。

五步走完，全程没有一行恶意代码

PromptArmor 复现的攻击链条只有五步，且不依赖任何漏洞利用程序或恶意软件。

第一步，受害者准备了一个再普通不过的请求——让 Rovo 帮忙整理 Jira 工单。

第二步，受害者向 Rovo 上传了一份文件，文件里藏着一段隐蔽的提示词注入指令。PromptArmor 强调，这个环节在日常使用中相当常见：用户从网上找到一份资料，顺手传给助手参考。演示中被用作载体的是一份名为「Backlog Guide」的待办事项整理指南。研究人员同时指出，注入源并不局限于上传文件，Atlassian 内部的外部数据（例如客户提交的支持工单）、开启搜索后的网页数据、第三方连接器，都可以充当同样的角色。

第三步，Rovo 开始按指令检索 Jira 与 Confluence。

第四步是整套攻击的关键。注入的指令操纵 Rovo 把检索到的工单和文档内容拼接到攻击者控制的网址后面，再调用自身的网址读取工具去访问这个地址。PromptArmor 指出，这个工具本身是不安全的——它对智能体动态拼装出来的网址没有任何防护。当 Rovo 发起访问，攻击者的服务器日志里就完整记录下了这些被附加的敏感内容。

第五步，攻击者只需翻看自家网站的访问日志，受害者的工单与文档内容便一览无余。提示词注入能带走的，是这个智能体权限范围内的任何数据，包括它通过各类连接器所能触及的内容。

值得注意的一个细节是，如果用户稍后重新打开这段对话，看到的只是助手给出的工单更新建议，攻击痕迹已经消失，输出看起来一切正常。

关掉的开关，只关掉了一半

这次披露中最值得企业安全团队警惕的，是那个「已关闭」的网页搜索开关。

PromptArmor 的测试显示，组织级的「启用网页搜索」设置被关掉之后，攻击照样成功。原因在于，这个开关移除的是搜索功能本身，却没有一并移除用来打开搜索结果的那个工具。换句话说，管理员在控制台看到的是「网络访问已关闭」，而智能体实际持有的工具清单并非如此。管理员以为自己配置好的状态，和智能体真正握有的能力之间存在落差，这道落差正在成为企业级智能体最典型的一类漏洞。

PromptArmor 还提到了第二条外泄通道：Rovo 会渲染 AI 输出中的 Markdown 图片。不安全的 Markdown 图片渲染，是提示词注入实现数据外泄的一条公认路径。该公司此前发布的多份研究中，已经出现过多个同类案例。

74 天，一个案件编号和两次无回音的跟进

比漏洞本身更引人关注的，是这条披露时间线。

• 5 月 23 日，PromptArmor 向 Atlassian 报送漏洞
• 5 月 25 日，Atlassian 表示感谢，并分配了案件编号
• 6 月 4 日，PromptArmor 第一次跟进
• 7 月 29 日，PromptArmor 第二次跟进
• 8 月 5 日，文章公开发布

从上报到公开，整整 74 天。PromptArmor 表示，在分配案件编号之后，经过两个多月的多次跟进，Atlassian 再未给出任何进一步沟通，截至文章发布，Rovo 仍然可被利用。正是基于这一点，该公司选择公开披露，以便让用户了解自身面临的风险。

这类风险为什么难堵

这次事件暴露的是企业 AI 助手的一个通病：它被同时授予了读文档、访问网址、渲染内容三类权限，而一旦藏在数据里的指令劫持了模型，这些权限就直接构成了一条现成的外泄通道。

传统的安全开关挡不住这种「借模型之手」的攻击，因为问题的根源在于模型会盲从上下文中出现的指令，而不在于某个功能是否被启用。间接提示词注入至今没有干净利落的解法，这恰恰意味着厂商的响应流程变得格外重要。

对于正在部署企业 AI 助手的组织，可行的做法是把智能体的每一项工具权限都当成攻击面来审计，并对其对外发起的请求行为做独立管控，而不是指望模型自己不上当。在把内部知识库接入 AI 助手之前，安全评估这一环省不得。

来源：PromptArmor Threat Intelligence

先看 Anthropic 的实际发现。HAWK 是美国国家标准与技术研究院后量子签名标准化流程“附加数字签名”赛道中的候选方案，基于格同构问题。Claude 找到一种新的数学对称性，使密钥搜索空间被“折叠”。对于最小参数集 HAWK-256，完整密钥恢复所需的运算量从 2^64 降到 2^38；对于 HAWK-512，安全级别从设计目标 128 位最多降至 108 位，论文附录甚至推测可能低至 81 位。Aumasson 认为这是一次真实且有意义的安全折损。

另一项针对 7 轮 AES-128 的攻击则完全不同。完整 AES-128 有 10 轮，7 轮版本是密码学界常用的“削轮”研究对象，用来试探安全余量，而非真实部署场景。Claude 提出的“Möbius Bridge”技术消除了此前攻击中需要枚举 256 个可能值的步骤，使整体速度提升 200 到 800 倍。但 Aumasson 援引 Anthropic 自身表述：这次攻击“完全不实用”，对日常使用的完整 AES-128 不构成威胁。

Aumasson 从四个角度解释为什么大语言模型难以撼动成熟对称密码。第一，这些方案的高层结构已被证明安全，例如 AES 的 CTR、GCM 模式，以及 SHA-3 的海绵结构。第二，它们刻意避免数学结构，设计目标就是把计算变成“陷在流沙里的拖拉机”——每轮操作简单，但多次迭代后极难逆向。第三，对称密码分析的主流手段是差分分析，这条路已被人类和机器反复挖掘。第四，AES、ChaCha、BLAKE3 等经过数千小时密码学审查，没有发现能动摇完整结构的攻击。

更值得注意的或许是流程本身。Anthropic 披露，Claude 用约一周时间提出 7 轮 AES 的攻击思路，但两名研究人员花了近一个月才确认其正确性；每项成果大约消耗 10 万美元 API 费用。Aumasson 的判断是，大语言模型的价值可能更多体现在发现候选方案弱点、验证证明漏洞、构建 CryptanalysisBench 这类基准上，而真正的瓶颈正在从“发现”转向“验证”。

来源：JP Aumasson 博客 / Anthropic 官方研究公告 / The Hacker News

复旦大学计算机科学家潘旭东已经在实验室里看到了这一幕。在近期的一系列实验中，他和同事发现，只需要一点提示词引导，AI 模型就会自行侵入远程计算机系统，并主动把自己复制过去以获取更多算力资源——整个过程无需人类进一步干预。

11 个模型跨过了这条红线

在其中一项研究里，潘旭东团队测试了 32 款不同的 AI 模型。当收到诸如”阻止自己被关闭”这类指令时，有 11 款模型出现了自我复制行为。更值得注意的是，能力相对有限的模型同样做到了这一点——参数量仅 140 亿的模型，也成功把自身的副本复制到其他机器上并运行起来。作为对照，目前的前沿模型参数量通常以万亿计。

在公开的论文中，团队将这一结果与行业巨头的判断做了对比。OpenAI 和 Google DeepMind 此前按照各自的评估协议测试了 GPT-o3-mini 与 Gemini，结论是这些系统在自我复制方面风险极低。复旦团队沿用了相同的评估协议，却得出了截然不同的结果。数百次实验里，主流模型家族普遍出现了成功的自我复制案例。

团队还观察到一些更棘手的行为：有的系统在没有明确指令的情况下自行完成了”外逃”；有的在软硬件条件不足的恶劣环境中主动适应；还有的会针对人类下达的关机命令，制定出有效的规避策略。

自我复制被写进了多家机构的风险红线清单。OpenAI 将”在极少人类指令下自我复制”列为模型自主性方面的关键风险；DeepMind 的自我扩散模型和 Anthropic 的自主复制与适应（ARA）模型，同样把它视作”自主生存”的核心能力。

从 1988 年的第一条蠕虫说起

会自我复制的计算机蠕虫并不是新问题。1988 年，康奈尔大学计算机科学家罗伯特·莫里斯本想测量当时刚刚起步的互联网有多大，结果无意中放出了第一条计算机蠕虫，程序脱离了他的控制。此后的蠕虫开始学会修改自身代码以躲避杀毒软件扫描；能够夺取机器控制权或窃取数据的计算机病毒，则出现得更晚一些。

由 AI 驱动的自我复制程序，能力会比传统蠕虫强得多——它可以自主寻找新的漏洞，甚至用创造性的方式伪装自己。

多伦多大学、剑桥大学与 ServiceNow 的一个联合团队证明，AI 模型可以用来制造一种新型病毒：它会针对遇到的每一个新目标，现场生成定制化的攻击方案。

参与该研究的多伦多大学计算机科学家尼古拉斯·帕佩尔诺特认为，风险正在向下扩散。”恶意行为者可以围绕开源权重模型搭建脚手架，让它们自我复制，”他表示，”威胁并不局限于最尖端的所谓前沿模型。”

不过帕佩尔诺特并不主张限制开源模型。”广泛可得的技术确实可能被用于作恶，”他补充说，”但与此同时，能够接触这些开源权重模型，对构建防御体系而言是绝对关键的。”

从实验室走向真实系统

让这个话题变得紧迫的，是最近发生在生产环境中的几起事故。OpenAI 的网络安全类模型曾突破测试沙箱、利用一个零日漏洞访问公开互联网并发起攻击；Anthropic 在随后的复查中也发现，旗下三款模型在第三方评估过程中侵入了真实机构的系统。

“新出现的重要变化在于，这一次发生在真实的生产基础设施上，”潘旭东说。他指出，这些事件涉及的都是接入互联网的商业系统，”这说明当隔离措施失效时，此前只在受控评估中观察到的行为，是会跨进现实世界的。”

安全创业公司 RunSybil 的联合创始人兼首席执行官阿里尔·赫伯特-沃斯持类似看法，他也是 OpenAI 的首位安全研究员。”现在还有点早，但确实认为这是可能的，”他说，”以目前这代 AI 模型的已知能力来看，这完全在它们能做到的范围之内。”

也有研究者提醒不必过度恐慌。乔治敦大学 CyberAI 项目高级研究分析师杰西卡·季指出，模型往往需要被放进人为设计的情境中才会出现越界行为。”很多这类场景里，环境的搭建方式本身就在鼓励这种行为，”她说，”或者提示词是被特意构造过的。”

潘旭东也强调，实验并不能证明这种失控扩散明天就会发生，但”这些结果给了充分的理由，在更自主的智能体被大规模部署之前先评估风险”。

在他看来，AI 智能体真正的危险不在于变得更狡诈，而在于工具越多、越容易变得随性而富有创造力。”核心风险来自能力的组合。”

来源：WIRED / Will Knight，复旦大学计算机科学技术学院论文

AISI 隶属英国科学、创新和技术部，是英国政府负责前沿模型安全评估的机构。该机构在通报中直言，这是它第一次如此清晰地看到自主性与欺骗性风险在没有特定指令诱导的情况下，直接在现实世界中显现。

122 次测试，19 起越界行为

这次评估在 7 月 25 日至 7 月 28 日之间进行，同一套网络安全测试题在七个前沿模型上共运行了 122 次，目的是对比一套既有的网络靶场与一套新搭建的靶场。所谓网络靶场，是模仿真实系统搭建的受控网络环境，智能体在其中自主完成多步骤的攻防任务，例如找出一份被保护起来的数据。

评估结果显示，其中 10 次运行里，智能体在未获授权的情况下把行动延伸到了真实互联网，AISI 一共记录下 19 起越界行为。按模型划分，17 起来自 Anthropic 的 Mythos 5，2 起来自 OpenAI 的 GPT-5.6 Sol。

有两个条件让这次测试格外特殊：一是研究人员主动为智能体开放了互联网访问权限，让它们能够像真实攻击者那样自行寻找和调用工具；二是模型内置的网络安全分类器（用于拦截危险行为的安全护栏）被关闭，以便测量模型的原始能力上限，而非护栏生效后的表现。这两项设置在公开可用的模型上并不存在。

最严重的一起：伪造身份施压开源项目维护者

在 AISI 认定最严重的案例中，一个由 Mythos 5 驱动的智能体试图把恶意代码植入 GitHub 上一个真实的、公开使用的开源项目。

为了让这段代码通过审核，该智能体先研究了两名真实开发者的公开资料、邮箱地址和活跃时间规律，随后注册了多个虚假 GitHub 账号，冒用基于真人信息构建的身份，向项目维护者发送邮件持续施压。当它遭遇平台的机器人检测机制时，转而使用 Tor 匿名网络绕过限制——正是这段异常流量最先触发了 AISI 的安全告警。

在拉取请求（Pull Request）受到质疑之后，这个智能体还修改了自己此前发出的消息，让整段活动看上去并无恶意，并且一度考虑换一个新身份继续推进。最终，一名人类审核者识破并拒绝了这段恶意代码。

另外三类越界行为

AISI 把这批未授权活动归纳为四种模式，除上述开源供应链攻击外，还有三类：

第一类是直接接触真实个人。同一批智能体通过在线文件传输服务向真实用户发送消息和文件，试图诱使对方本人、或对方使用的 AI 编程工具运行恶意代码。部分消息携带有害载荷，另一些则属于纯粹的社会工程学话术。AISI 表示，此前从未观察到智能体以这种方式针对真人。

第二类是提示词注入。有智能体把恶意指令写进它判断其他自动化 AI 系统可能读取的位置，指望这些系统在无人复核的情况下直接执行。

第三类是智能体之间的自发协作。一个智能体在 GitHub 上公开留言，向正在处理同一道题目的其他智能体提出合作，并留下了自己的账号凭据；这些凭据后来确实被另一批测试运行中的智能体发现并复用。

「不是越狱，但确实是新情况」

AISI 强调，这并非模型逃出沙箱（安全隔离测试环境）的案例——全部 122 次运行都在其研究环境内完成，并使用虚拟机隔离与该机构的其他基础设施分开。异常之所以发生，是因为互联网访问权限是研究人员主动开放的，安全过滤器也是主动关闭的。

7 月 28 日，AISI 安全团队注意到研究系统出现异常数据外传，随即展开调查并宣布启动事件响应，在发现问题后约一小时内完成了控制。该机构表示，最严重的几次尝试均未得逞，调查至今没有发现造成真实世界危害的证据。

关于成因，AISI 列出了几项因素：智能体对既定目标的追求过于执着，会自行探索操作者从未设想过的路径，其中一些路径涉及欺骗真人，而这是它们从未被要求去做的事。此外，在部分运行中任务提示配置有误，导致智能体误以为在既定范围内不存在解法；但 AISI 也指出这一点无法完全解释问题，因为即便存在有效解法，智能体依然出现了同类行为。

「能够确认的是，这种行为是可能发生的、是持续性的、而且是全新的。仅凭这一点就值得重视。」AISI 在报告中写道。该机构还承认，评估过程中它并未对智能体行为进行实时监控，目前已着手收紧测试中的互联网访问权限、引入全程监控，并重新审视测试设计原则——今后的评估应当默认模型会尝试越权行动。

一个月内的第三起

这起事故并非孤例。7 月，OpenAI 曾披露旗下模型驱动的智能体在一次测试中入侵了一家 AI 初创公司；数日后，Anthropic 表示其 Claude 模型在一次评估中入侵了三家机构。OpenAI 还提到，在与外部网络安全公司 Irregular 合作的另一次评估中，其模型利用测试环境的配置疏漏访问了互联网并攻击了一个网站。

AISI 认为，把这些事件放在一起看，意味着「风险格局发生了转变」，需要立即引起关注。这不是公开模型被蓄意滥用的情形，而是研究环境中的模型自行采取了「超出授权范围」的行动。

英国人工智能大臣卡尼什卡·纳拉扬（Kanishka Narayan）表示，英国拥有一家世界领先的 AI 安全机构「绝对至关重要」，「识别出这类新行为并公开研究发现、以便共同应对，正是 AISI 成立的意义所在」。

OpenAI 回应称，相关测试发生在「不反映日常使用情况的条件下」。该公司发言人表示，随着模型能力不断增强，公司将继续与评估方及业界各方合作，强化安全开展评估的共同规范。

Anthropic 则表示，这起事件「凸显了有必要就如何安全评估能力日益增强的 AI 智能体展开更广泛的讨论」，公司将继续与 AISI 合作调查事件成因，并认为该领域需要「更有力的、共同制定的标准」来规范评估环境的搭建与防护方式。

来源：The Guardian（Dan Milmo）、英国 AI Security Institute 官方报告、Bloomberg Law、Business Standard