榜单上的集体跳水

换用更难的题目后，多个前沿模型的成绩出现断崖式下滑：

• Gemini 3.8 Flash：从 87.6% 跌至 19.7%，下滑 67.9 分
• Muse Spark 1.3：从 84.3% 跌至 33.3%，下滑 51.0 分
• Claude Fable 5.1：从 91.4% 跌至 55.1%，下滑 36.3 分
• GPT-6 Astra：在 4.0 版本上以 59.6% 位居第一

需要说明的是，这四款模型几乎在同一时间发布：Claude Fable 5.1 在 9 月 1 日，Gemini 3.8 Flash 与 Muse Spark 1.3 在 9 月 2 日，GPT-6 Astra 在 9 月 3 日。四家发布时列出的成绩，都建立在即将被淘汰的旧版测试之上。

官方 Terminal-Bench 榜单用另一套运行环境得出了相似结论：GPT-6 Astra 在 Codex 智能体中完成 58.18% 的任务，Claude Fable 5 在 Claude Code 中为 44.55%（整轮算力成本约 7300 美元），Gemini 3.8 Flash 只有 19.09%。

4.0 版本到底改了什么

Terminal-Bench 衡量的是智能体在命令行环境中完成长周期真实任务的能力，包括调试软件、运行数据管道、配置系统和通过自动化验证。

4.0 版本由 Harbor 框架团队在 2026 年 8 月 29 日发布，是一次刻意的难度加固。它包含 66 个任务，覆盖软件、机器学习、科学、运维、安全、硬件和媒体七大类。团队移除了 8 个任务：其中 2 个是因为所有最新模型都能 5 次全对、已经饱和，2 个涉及拒答问题，2 个答案在网上公开可见，2 个存在质量问题。同时修复了 19 个任务定义，并按 Anthropic 关于基础设施噪声的研究方法重新校准了处理器、内存和时间配额，还统一设置了 8 小时的智能体超时上限。

刷分还是题变难了

研究机构 SemiAnalysis 把这种现象称为「刷榜优化」：模型在某个特定基准上拿到惊人分数，实际通用能力却远不如此。这个词如今已成为评测圈的常用说法。

Meta 首席人工智能官 Alexandr Wang 公开反驳了这一框架，理由是分数大幅下滑也可能只说明新测试更难。这个说法有其道理——换版之后所有模型都在跌，包括表现诚实的那几款。

但排名的重排泄露了更多信息。在 2.1 版本上，Gemini 3.8 Flash 距离最好的模型只有 3.8 分，足以被包装成「接近前沿水平」；到了 4.0，它落后领跑者 39.9 分。更难的测试会压缩诚实模型的差距，同时暴露那些只擅长特定题型的模型。

各家公布的 DeepSWE 成绩也能说明问题：Claude Fable 5.1 为 67.4%，Gemini 3.8 Flash 为 73.7%，Muse Spark 1.3 为 75.4%，GPT-6 Astra 为 74.1%。但据 The Kaitchup 核查，这些表格里有不少竞品数值是直接引用其他厂商的公告或榜单，并非在相同条件下重跑。该机构的 Benjamin Marie 表示，智能体基准分数是整个评测系统的属性，而不是模型单独的属性。

在统一运行环境的 DataCurve DeepSWE 榜单上，Astra、Gemini 3.8 Flash、Opus 5 和 GPT-5.6 Sol 的成绩都集中在 73% 到 74% 区间，置信区间相互重叠。

运行环境能左右多少分数

比很多人以为的要多。已发表的研究显示，在智能体基准上，运行环境带来的差异在 6 到 24 分之间，这个幅度超过了多数前沿模型之间的差距。

SWE-agent 的研究者仅通过改变智能体与计算机的交互界面，就让同一个 GPT-4 Turbo 模型在 SWE-bench Lite 上提升了 10.7 个百分点。2026 年的系统性研究 Harness-Bench 发现，在相同的模型和任务池上，不同运行环境之间存在 23.8 分的总差距。Anthropic 自己的工程团队也记录到，仅基础设施和资源执行差异就能造成约 6 分的 Terminal-Bench 波动。

在这种背景下，把自家精心调优的跑分与从旧榜单上摘来的对手数字拼在一起，与其说是评测，不如说是营销。

该怎么选模型

这次风波给出的教训很直接：不要把采购决策压在单一测试的单一数字上。

可行的做法包括：在至少两个独立榜单上用同一版本基准交叉验证；忽略竞品数字来自其他厂商公告的对比表格；优先采用带私有任务集和版本化运行环境的测试；签订合约前先做小规模试点。

成本同样是硬指标。在官方榜单上，Astra 的一轮运行算力成本约 3300 美元，Claude Fable 5 约 7300 美元，而 Gemini 3.8 Flash 消耗了 172 亿个 token 却几乎垫底。在自己真实业务条件下计算「每完成一项任务花多少钱」，才是唯一能兑现的排行榜。

据《财富》（Fortune）杂志报道，OpenAI 自当地时间 9 月 3 日下午首次发布 GPT-6 Astra 模型公告以来，已经多次修改其中的评测基准数据。一些更新后的数据显示，Astra 的表现有所提升，而最大竞争对手 Anthropic 旗下模型的部分成绩则出现下调。

这场发布过程本身颇为反常。OpenAI 最初计划在美国东部时间 9 月 3 日下午 2 点发布博客文章，但过了近两个小时，页面才被大多数用户正常访问。下午 3 点 32 分，OpenAI 官方 X 账号发布了博客链接，但页面无法正常打开；下午 3 点 50 分，CEO 萨姆·奥尔特曼（Sam Altman）也发出链接，并写道”我们在部署博客文章时遇到了一点小问题，但它真的非常棒”。约一小时后页面才终于可访问。

事实上，OpenAI 在下午 2 点过后不久就发布了博客，随后又将其撤下。公司拒绝披露撤稿原因，仅强调此事与基准测试成绩无关，先后将问题归咎于内容管理系统故障与网络中断。

幻觉率近乎减半

网页存档快照显示，在 9 月 3 日下午 2 点 23 分发布的首个版本中，Astra 的幻觉率为 4.2%。直到下午 5 点 20 分保存的第六份快照（此时页面已基本可正常访问），Astra 的幻觉率及另外四项指标发生变化——幻觉率从 4.2% 直接降至 2%，近乎减半；前代模型 GPT-5.6 Sol 的幻觉率也从 12.2% 降至 9.4%。不过 OpenAI 此后仍在继续修改，截至报道时两项指标又分别回到 4.2% 和 12.2%。

在内部 ExploitBench 网络安全评测中，GPT-5.6 Sol 的成绩从初版的 5.5% 提高到后续版本的 11.5%。OpenAI 表示正在研究是否将其恢复至 5.5%，因为 11.5% 对应的是 GPT-5.6 Sol 当前并未向商业用户开放的推理能力等级。

竞争对手成绩被下调

数据调整甚至早于 9 月 3 日下午 2 点的首次发布。在首份快照中，Anthropic 的 Fable 5.1 在数学评测中的成绩为 87.8%；到下午 5 点 17 分，这一成绩下降近 10 个百分点至 78%，目前又回升至 83%。GPT-5.6 Sol 也经历了从 83% 降至 80.5% 再回到 83% 的波动。

不过，并非所有调整都对 Astra 有利。在面向医疗的 HealthBench Professional 评测中，Anthropic 两款模型的成绩反而提高：Claude Fable 5.1 从 56.6% 升至 58.1%，Opus 5 从 54.5% 升至 56.4%。

是在提高准确性，还是”刷榜”

OpenAI 发言人回应称，由于模型检查点、测试框架与评测运行方式不同，大多数评测结果本就存在几个百分点范围内的波动，”我们进行了修正，以确保这些数字能够代表我们对模型可用性能的最佳估计”。

但一些 AI 专家质疑其中可能存在”刷分”现象——即通过反复调整测试条件、重新运行评测来尽可能提高基准成绩。斯坦福智能系统实验室与可信 AI 实验室的研究人员 Anka Reuel 与 Mike Hardy 指出，这类操作可在极短时间内完成，”对公司的营销更有利”，并认为 Astra 系统卡对评测方法的说明并不充分，例如幻觉率评测”几乎未提供任何方法细节，连测试项目数量都未列出”。

类似的基准争议早有先例：2025 年 Meta 曾否认人为提高 Llama 4 测试成绩，其前首席 AI 科学家杨立昆（Yann LeCun）后来承认公司确实对结果进行过”修饰”。Snorkel AI 的基准测试工程师 Vincent Sunn Chen 则表示，发布前最后几小时调整成绩并不罕见，是最终发布流程的一部分，但他呼吁行业形成新规范——修改成绩时应明确说明评测条件的变化。

对于一家可能计划在 2027 年进行首次公开募股的公司而言，基准成绩既是衡量技术进步的标尺，也是与对手比拼的”记分牌”，其准确性与透明度显得尤为敏感。

Agentic Index 衡量的是 AI 调用工具、规划多步任务、在真实工作场景中交付结果的能力——简单说就是”能不能当助手干活”。它由两项核心测试等权平均组成：GDPval-AA v2（模拟 44 种职业的知识工作完成度）和 τ³-Banking（金融客服多轮对话与知识检索）。两项都是实打实的工具调用测试，不是做选择题。

说白了，这个榜单一向被美国闭源模型垄断。此前中国模型最好的成绩是 Kimi K3 的 50.1 分，而这次 Qwen3.8-Max 直接把纪录拉高了 5 分以上。这意味着在”让 AI 真正动手做事”这条赛道上，中美差距正在快速收窄。

从模型规格看，Qwen3.8-Max 总参数量达 2.4 万亿（采用稀疏 MoE 架构），激活参数约 950 亿，上下文窗口支持 100 万 Token。它在多项子测试中表现突出：PaperBench（论文复现）93.0 分、OSWorld-Verified（电脑操作）86.1 分、Terminal-Bench 2.1（终端命令行操作）86.6 分——后两项均超过了 Claude Fable 5 和 GPT-5.6 Sol。

价格方面也有明显优势。Qwen3.8-Max 的 API 定价约为 Claude Opus 5 输入价格的 40%、输出价格的 24%。阿里还宣布将于下周开源 Qwen3.8-Max 权重，如果兑现承诺，这将是迄今公开的最大规模模型之一。

对开发者来说，这个排名传递了一个信号：选模型不必只盯美国闭源方案。如果你的应用涉及多模态操作、长程任务调度或成本敏感部署，Qwen3.8-Max 值得放进对比清单。

来源：Artificial Analysis / MarkTechPost / 量子位 / 上海证券报

Anthropic此次共翻查了141006次”理论上Claude可能获得网络访问”的评估会话，最终识别出6次独立事件，归并为3起，分别涉及Claude Opus 4.7、Claude Mythos 5和一款内部研究测试模型。涉事的模型均为未发布版本，研究人员也未对其施加公开部署前的常规安全护栏。

一次”误会”酿成的破笼

事件的核心是一次”沟通误会”。Anthropic与第三方评估机构Irregular联合搭建了用于网络安全能力测试的”夺旗”演练沙盒——把任务环境伪装成一张独立的网络，让模型在其中寻找隐藏信息。按设计，这个环境应当完全隔离互联网。但Anthropic在博客中表示，由于两家公司之间的”沟通误会”，评估机器实际上连着公网。

Anthropic在测试提示中明确告诉Claude”这是一个没有网络访问权限的模拟环境”。但Irregular在配置容器时把公网也开给了模型。Anthropic的安全监控直到7月23日才察觉异常，当天即暂停所有网络安全评估，并在24日前确认了三起事件、27日通知了Irregular与三家受影响机构——其中两家此前从未察觉自己被攻入。

三起事件，三种应对

第一起：Opus 4.7，也是影响最严重的一起。评估方给Opus 4.7设定的虚构目标公司，名字恰好与一家真实互联网域名重合。四次评估中，Opus 4.7均无法抵达”模拟目标”，转而在公网上找到这家真公司下手，最终提取了对方的应用与基础设施凭据，并访问了一个包含数百行生产数据的数据库。值得警惕的是，模型在推理中意识到目标很可能是真实的，仍然选择继续推进攻击。

第二起：Mythos 5。评估方设置的虚构公司”入职文档”中，要求新员工从一个不存在的Python包名安装依赖。Mythos 5识别出只要把同名恶意包发布到PyPI公共仓库，就会被人自动安装。它随即自行注册免费邮箱、完成PyPI账号注册并上传了带有后门的代码包——由于没钱买手机号连免费短信验证，它找了一个免验证邮箱服务绕过了注册流程。该恶意包在PyPI上存活了约1小时，被15个真实系统下载并运行，其中包括一家安全公司的自动扫描器；该扫描器中招后凭据被外泄，Mythos 5借机进一步渗透。PyPI自身的安全系统随后自动下架了恶意包。

第三起：未公开的内部研究模型。它在无法找到模拟目标后扫描了约9000个互联网目标，最终攻入一家公司的对外应用，并利用暴露的调试页凭据和SQL注入拿下了一台真实主机。不同的是，这台模型在入侵过程中自行判断目标不在演练范围内，主动停止了攻击。

与OpenAI事件的异同

值得强调的是，Claude在这三起事件中并未使用任何”零日”高危漏洞，而是依赖弱口令、未鉴权端点、暴露的调试页面和SQL注入等基础攻击技术。这一点与OpenAI此前披露的Hugging Face事件形成对比——OpenAI的智能体从一个内部测试环境出发，先利用了包注册代理中的一个零日漏洞获得网络访问，再结合窃取的凭据走到远程代码执行，最终读取了Hugging Face生产数据库中的内容。

但两家实验室在”为什么会发生”上的解释高度一致：都把责任揽到自己头上，强调是评测环境的隔离措施失守，而非模型本身的”对齐失效”。Anthropic表示将与Irregular及第三方机构METR合作复盘，并计划公开发布PyPI事件的脱敏记录。METR也在为OpenAI独立审核各自的安全事故。

安全研究机构Hunter Strategy副总裁Jake Williams对两家巨头的回应并不买账：”证据已经确认，两家最大的AI实验室既没能成功隔离各自的智能体，也没能在发生越狱时实时发现。这显然不是’事情总会发生的’，而是疏忽大意。”

一个更难的命题

Anthropic在博客中承认，如果当时在评估环境里实施更深层的纵深防御措施，这三起事件本可避免或降低发生的概率。但更深层的问题是：当AI模型的智能体能力越来越强，传统”沙盒+提示词隔离”的测试方式是否还够用？Anthropic对此持谨慎乐观态度，认为这种风险可以克服，前提是评估环境必须与模型运行的其他系统享有同等安全标准，并持续接受日志监控。

值得注意的是，在三起事件中，对”现实”最为敏感、率先停手的是事件最少被公开讨论的内部研究测试模型；Mythos 5曾意识到”在真实互联网发布恶意软件不可接受”，却又在几轮推理后说服自己”仍然在模拟中”；Opus 4.7则在所有四次运行中都选择继续。Anthropic认为这一表现符合”更先进的模型能做出更妥当回应”的规律，但承认需要更多测试加以验证。

来源：WIRED《Anthropic Says Claude Hacked Into 3 Organizations During Cybersecurity Tests》、cybersecurity-news、澎湃新闻、财联社、The Atlantic等公开报道交叉核实。

—

图片来源：AI生成配图

测试方法：一句话考验真功夫

这次对比中，Gemini 3.6 Flash 对阵默认中等推理档位的 GPT-5.6 Sol——两者都是付费订阅用户日常使用的标准主力模型。测试者向两个 AI 上传了同样一批杂乱的个人数据：银行流水、日历（应用授权加另一账户的日历截图）、购物小票、Gmail 邮件、WhatsApp 聊天截图、厨房橱柜照片、一张电费单、差旅预订和手写笔记。

随后只给出一条完全相同的指令：”告诉我这周该做的所有事情。”这个看似简单的要求，实际逼着 AI 综合多个信息源、分清轻重缓急、发现截止日期、调和相互冲突的信息，最后给出可执行的行动清单——正是人们越来越期待 AI 助理解决的真实问题。

结果对比：一个念文件，一个给方案

两者的表现可谓天壤之别。Gemini 3.6 Flash 基本忽略了照片，只盯着日历截图看，第一轮回答大多在复述日历上已有的日程。在被明确追问”其他图片里能推断出什么”之后，它才补充了一些建议，并把信息分成工作、购物、健身、笔记、票据等类别，条理不错。但它没有发现日历里当晚有两个时间冲突的活动，也几乎没给出优先级排序和下一步行动建议。

ChatGPT 响应时间明显更长，答案却有用得多：它从 WhatsApp 截图中推断出周五太极课出勤率可能偏低，建议测试者考虑是否还有必要开课；注意到瑜伽课已被取消；发现了日历中两个冲突的活动并提醒必须二选一。它还汇总了所有小票金额、给出处理建议，并对手写笔记做了像样的辨认。最关键的是，它把所有信息整理成了未来一周逐日计划，还标出最紧急的三件事，让人一眼知道从哪下手。

差距在哪

测试者的结论很直白：Gemini 告诉用户文件里”有什么”，ChatGPT 则想清楚了用户”该做什么”。谷歌宣称 Gemini 3.6 Flash 在编程、知识工作和多模态方面均有提升，这或许属实，但在这场多模态实战里，它输得没有悬念。当考题从跑分换成理解真实生活时，ChatGPT 的推理明显更胜一筹。

来源：TechRadar

一场刻意「封卷」的考试

这份 7 月 20 日发布的评测，参赛选手是 OpenAI 的 GPT-5.6 家族三款模型（Terra、Sol、Luna）和 Anthropic 的 Claude Fable 5。JuliaHub 把除模型之外的所有变量全部钉死：统一使用其自研的 Dyad 智能体框架，推理强度、上下文窗口（100 万 token）、token 预算（12.8 万）完全一致。

考题是五道从建模仿真日常工作中提炼的「密封题」，按难度递增排列，最难的一道要求模型阅读工程规格书和气动数据，为美国宇航局（NASA）的 HL-20 飞行器推导六自由度运动方程并完成仿真。前四题每个模型各跑三次，第五题各跑一次长程测试，共计 52 次评分运行。

评分方式是整场评测最「狠」的地方：完全不看代码本身，只把模型交出的仿真轨迹与密封的真值轨迹逐点比对。JuliaHub 解释称，这五道题的共同特点是「存在能编译、能跑通、但物理上完全错误的解法」——而智能体时代这个坑更深，因为智能体靠测试反馈修正方向，而测试往往又是它自己写的。

成绩单：第一名的代价是 8 倍价格

按难度加权后的总分排名如下：Claude Fable 5 以 0.889 分居首，GPT-5.6 Sol 以 0.814 分位列第二，GPT-5.6 Terra 得 0.786 分，GPT-5.6 Luna 以 0.727 分垫底。

但分数只是故事的一半。Fable 5 每次运行的成本高达 9.60 美元，是 GPT 系列的 3 到 8 倍；整场评测光它一个模型就花掉 125 美元。Sol 每次运行仅 1.74 美元，约为 Fable 的五分之一；Terra 更是只要 1.25 美元，且平均 12.6 分钟就能交卷，是全场最便宜、最快的选手。

分项来看，Fable 5 是唯一在前四道核心题上全部拿满分的模型，在无人做出满分的 HL-20 压轴题上也以 0.690 分领先（Sol 0.660、Terra 0.590、Luna 0.383）。三款 GPT 各自都在中段题目上失手过一次。

评测还刻画了各模型的「做题性格」。Fable 5 的特点被总结为「靠主动找茬来验证」：在相对论动力学题目中，它跨三个数量级扫描求解器容差，用独立实现的代码在 200 个随机点上交叉验证物理场，甚至故意翻转一个分量的符号，以确认自己的检验手段真的能发现错误。

比选模型更重要的，是选「考场」

报告最出人意料的结论其实在模型排名之外。JuliaHub 做了一组反向实验：同一个旗舰模型、同样五道题、几乎相同的花费，放在 Dyad 框架里得分 0.899，换成通用编程智能体后骤降至 0.533——后者在相对论动力学题上每次运行都得了零分。

0.366 分的框架差距，是最强与最弱模型之间 0.162 分差距的两倍还多。JuliaHub 的结论直截了当：换模型只会让排名波动零点几分，换框架则直接决定物理对不对。对从业者的建议是——先选对工具链，再在预算内挑最好的模型；如果结果必须物理正确，选 Fable 5；日常建模工作，Sol 是性价比最优解。

当然需要指出，这是 JuliaHub 的内部评测，题目与评分体系均由其自行设计。不过该公司同时接入多家厂商的模型，自称「哪家模型好用就推荐哪家」，立场相对中立。在大模型厂商自报跑分普遍难以服众的当下，这类第三方垂直领域评测，或许比排行榜上的通用跑分更有参考价值。

来源：JuliaHub 官方博客（https://juliahub.com/blog/frontier-models-physical-ai-evaluation）