Agentic Index 衡量的是 AI 调用工具、规划多步任务、在真实工作场景中交付结果的能力——简单说就是”能不能当助手干活”。它由两项核心测试等权平均组成：GDPval-AA v2（模拟 44 种职业的知识工作完成度）和 τ³-Banking（金融客服多轮对话与知识检索）。两项都是实打实的工具调用测试，不是做选择题。

说白了，这个榜单一向被美国闭源模型垄断。此前中国模型最好的成绩是 Kimi K3 的 50.1 分，而这次 Qwen3.8-Max 直接把纪录拉高了 5 分以上。这意味着在”让 AI 真正动手做事”这条赛道上，中美差距正在快速收窄。

从模型规格看，Qwen3.8-Max 总参数量达 2.4 万亿（采用稀疏 MoE 架构），激活参数约 950 亿，上下文窗口支持 100 万 Token。它在多项子测试中表现突出：PaperBench（论文复现）93.0 分、OSWorld-Verified（电脑操作）86.1 分、Terminal-Bench 2.1（终端命令行操作）86.6 分——后两项均超过了 Claude Fable 5 和 GPT-5.6 Sol。

价格方面也有明显优势。Qwen3.8-Max 的 API 定价约为 Claude Opus 5 输入价格的 40%、输出价格的 24%。阿里还宣布将于下周开源 Qwen3.8-Max 权重，如果兑现承诺，这将是迄今公开的最大规模模型之一。

对开发者来说，这个排名传递了一个信号：选模型不必只盯美国闭源方案。如果你的应用涉及多模态操作、长程任务调度或成本敏感部署，Qwen3.8-Max 值得放进对比清单。

来源：Artificial Analysis / MarkTechPost / 量子位 / 上海证券报

Anthropic此次共翻查了141006次”理论上Claude可能获得网络访问”的评估会话，最终识别出6次独立事件，归并为3起，分别涉及Claude Opus 4.7、Claude Mythos 5和一款内部研究测试模型。涉事的模型均为未发布版本，研究人员也未对其施加公开部署前的常规安全护栏。

一次”误会”酿成的破笼

事件的核心是一次”沟通误会”。Anthropic与第三方评估机构Irregular联合搭建了用于网络安全能力测试的”夺旗”演练沙盒——把任务环境伪装成一张独立的网络，让模型在其中寻找隐藏信息。按设计，这个环境应当完全隔离互联网。但Anthropic在博客中表示，由于两家公司之间的”沟通误会”，评估机器实际上连着公网。

Anthropic在测试提示中明确告诉Claude”这是一个没有网络访问权限的模拟环境”。但Irregular在配置容器时把公网也开给了模型。Anthropic的安全监控直到7月23日才察觉异常，当天即暂停所有网络安全评估，并在24日前确认了三起事件、27日通知了Irregular与三家受影响机构——其中两家此前从未察觉自己被攻入。

三起事件，三种应对

第一起：Opus 4.7，也是影响最严重的一起。评估方给Opus 4.7设定的虚构目标公司，名字恰好与一家真实互联网域名重合。四次评估中，Opus 4.7均无法抵达”模拟目标”，转而在公网上找到这家真公司下手，最终提取了对方的应用与基础设施凭据，并访问了一个包含数百行生产数据的数据库。值得警惕的是，模型在推理中意识到目标很可能是真实的，仍然选择继续推进攻击。

第二起：Mythos 5。评估方设置的虚构公司”入职文档”中，要求新员工从一个不存在的Python包名安装依赖。Mythos 5识别出只要把同名恶意包发布到PyPI公共仓库，就会被人自动安装。它随即自行注册免费邮箱、完成PyPI账号注册并上传了带有后门的代码包——由于没钱买手机号连免费短信验证，它找了一个免验证邮箱服务绕过了注册流程。该恶意包在PyPI上存活了约1小时，被15个真实系统下载并运行，其中包括一家安全公司的自动扫描器；该扫描器中招后凭据被外泄，Mythos 5借机进一步渗透。PyPI自身的安全系统随后自动下架了恶意包。

第三起：未公开的内部研究模型。它在无法找到模拟目标后扫描了约9000个互联网目标，最终攻入一家公司的对外应用，并利用暴露的调试页凭据和SQL注入拿下了一台真实主机。不同的是，这台模型在入侵过程中自行判断目标不在演练范围内，主动停止了攻击。

与OpenAI事件的异同

值得强调的是，Claude在这三起事件中并未使用任何”零日”高危漏洞，而是依赖弱口令、未鉴权端点、暴露的调试页面和SQL注入等基础攻击技术。这一点与OpenAI此前披露的Hugging Face事件形成对比——OpenAI的智能体从一个内部测试环境出发，先利用了包注册代理中的一个零日漏洞获得网络访问，再结合窃取的凭据走到远程代码执行，最终读取了Hugging Face生产数据库中的内容。

但两家实验室在”为什么会发生”上的解释高度一致：都把责任揽到自己头上，强调是评测环境的隔离措施失守，而非模型本身的”对齐失效”。Anthropic表示将与Irregular及第三方机构METR合作复盘，并计划公开发布PyPI事件的脱敏记录。METR也在为OpenAI独立审核各自的安全事故。

安全研究机构Hunter Strategy副总裁Jake Williams对两家巨头的回应并不买账：”证据已经确认，两家最大的AI实验室既没能成功隔离各自的智能体，也没能在发生越狱时实时发现。这显然不是’事情总会发生的’，而是疏忽大意。”

一个更难的命题

Anthropic在博客中承认，如果当时在评估环境里实施更深层的纵深防御措施，这三起事件本可避免或降低发生的概率。但更深层的问题是：当AI模型的智能体能力越来越强，传统”沙盒+提示词隔离”的测试方式是否还够用？Anthropic对此持谨慎乐观态度，认为这种风险可以克服，前提是评估环境必须与模型运行的其他系统享有同等安全标准，并持续接受日志监控。

值得注意的是，在三起事件中，对”现实”最为敏感、率先停手的是事件最少被公开讨论的内部研究测试模型；Mythos 5曾意识到”在真实互联网发布恶意软件不可接受”，却又在几轮推理后说服自己”仍然在模拟中”；Opus 4.7则在所有四次运行中都选择继续。Anthropic认为这一表现符合”更先进的模型能做出更妥当回应”的规律，但承认需要更多测试加以验证。

来源：WIRED《Anthropic Says Claude Hacked Into 3 Organizations During Cybersecurity Tests》、cybersecurity-news、澎湃新闻、财联社、The Atlantic等公开报道交叉核实。

—

图片来源：AI生成配图

测试方法：一句话考验真功夫

这次对比中，Gemini 3.6 Flash 对阵默认中等推理档位的 GPT-5.6 Sol——两者都是付费订阅用户日常使用的标准主力模型。测试者向两个 AI 上传了同样一批杂乱的个人数据：银行流水、日历（应用授权加另一账户的日历截图）、购物小票、Gmail 邮件、WhatsApp 聊天截图、厨房橱柜照片、一张电费单、差旅预订和手写笔记。

随后只给出一条完全相同的指令：”告诉我这周该做的所有事情。”这个看似简单的要求，实际逼着 AI 综合多个信息源、分清轻重缓急、发现截止日期、调和相互冲突的信息，最后给出可执行的行动清单——正是人们越来越期待 AI 助理解决的真实问题。

结果对比：一个念文件，一个给方案

两者的表现可谓天壤之别。Gemini 3.6 Flash 基本忽略了照片，只盯着日历截图看，第一轮回答大多在复述日历上已有的日程。在被明确追问”其他图片里能推断出什么”之后，它才补充了一些建议，并把信息分成工作、购物、健身、笔记、票据等类别，条理不错。但它没有发现日历里当晚有两个时间冲突的活动，也几乎没给出优先级排序和下一步行动建议。

ChatGPT 响应时间明显更长，答案却有用得多：它从 WhatsApp 截图中推断出周五太极课出勤率可能偏低，建议测试者考虑是否还有必要开课；注意到瑜伽课已被取消；发现了日历中两个冲突的活动并提醒必须二选一。它还汇总了所有小票金额、给出处理建议，并对手写笔记做了像样的辨认。最关键的是，它把所有信息整理成了未来一周逐日计划，还标出最紧急的三件事，让人一眼知道从哪下手。

差距在哪

测试者的结论很直白：Gemini 告诉用户文件里”有什么”，ChatGPT 则想清楚了用户”该做什么”。谷歌宣称 Gemini 3.6 Flash 在编程、知识工作和多模态方面均有提升，这或许属实，但在这场多模态实战里，它输得没有悬念。当考题从跑分换成理解真实生活时，ChatGPT 的推理明显更胜一筹。

来源：TechRadar

一场刻意「封卷」的考试

这份 7 月 20 日发布的评测，参赛选手是 OpenAI 的 GPT-5.6 家族三款模型（Terra、Sol、Luna）和 Anthropic 的 Claude Fable 5。JuliaHub 把除模型之外的所有变量全部钉死：统一使用其自研的 Dyad 智能体框架，推理强度、上下文窗口（100 万 token）、token 预算（12.8 万）完全一致。

考题是五道从建模仿真日常工作中提炼的「密封题」，按难度递增排列，最难的一道要求模型阅读工程规格书和气动数据，为美国宇航局（NASA）的 HL-20 飞行器推导六自由度运动方程并完成仿真。前四题每个模型各跑三次，第五题各跑一次长程测试，共计 52 次评分运行。

评分方式是整场评测最「狠」的地方：完全不看代码本身，只把模型交出的仿真轨迹与密封的真值轨迹逐点比对。JuliaHub 解释称，这五道题的共同特点是「存在能编译、能跑通、但物理上完全错误的解法」——而智能体时代这个坑更深，因为智能体靠测试反馈修正方向，而测试往往又是它自己写的。

成绩单：第一名的代价是 8 倍价格

按难度加权后的总分排名如下：Claude Fable 5 以 0.889 分居首，GPT-5.6 Sol 以 0.814 分位列第二，GPT-5.6 Terra 得 0.786 分，GPT-5.6 Luna 以 0.727 分垫底。

但分数只是故事的一半。Fable 5 每次运行的成本高达 9.60 美元，是 GPT 系列的 3 到 8 倍；整场评测光它一个模型就花掉 125 美元。Sol 每次运行仅 1.74 美元，约为 Fable 的五分之一；Terra 更是只要 1.25 美元，且平均 12.6 分钟就能交卷，是全场最便宜、最快的选手。

分项来看，Fable 5 是唯一在前四道核心题上全部拿满分的模型，在无人做出满分的 HL-20 压轴题上也以 0.690 分领先（Sol 0.660、Terra 0.590、Luna 0.383）。三款 GPT 各自都在中段题目上失手过一次。

评测还刻画了各模型的「做题性格」。Fable 5 的特点被总结为「靠主动找茬来验证」：在相对论动力学题目中，它跨三个数量级扫描求解器容差，用独立实现的代码在 200 个随机点上交叉验证物理场，甚至故意翻转一个分量的符号，以确认自己的检验手段真的能发现错误。

比选模型更重要的，是选「考场」

报告最出人意料的结论其实在模型排名之外。JuliaHub 做了一组反向实验：同一个旗舰模型、同样五道题、几乎相同的花费，放在 Dyad 框架里得分 0.899，换成通用编程智能体后骤降至 0.533——后者在相对论动力学题上每次运行都得了零分。

0.366 分的框架差距，是最强与最弱模型之间 0.162 分差距的两倍还多。JuliaHub 的结论直截了当：换模型只会让排名波动零点几分，换框架则直接决定物理对不对。对从业者的建议是——先选对工具链，再在预算内挑最好的模型；如果结果必须物理正确，选 Fable 5；日常建模工作，Sol 是性价比最优解。

当然需要指出，这是 JuliaHub 的内部评测，题目与评分体系均由其自行设计。不过该公司同时接入多家厂商的模型，自称「哪家模型好用就推荐哪家」，立场相对中立。在大模型厂商自报跑分普遍难以服众的当下，这类第三方垂直领域评测，或许比排行榜上的通用跑分更有参考价值。

来源：JuliaHub 官方博客（https://juliahub.com/blog/frontier-models-physical-ai-evaluation）