谷歌称，Gemini 4 Argon 在多项基准测试中取得靠前得分，其中一项安全能力测试的成绩超越了 OpenAI 的 Astra 模型。不过彭博社同时报道，部分参与项目的知情人士表示，当谷歌员工实际用该模型开展工作时，其在代码编写等核心任务上的表现不如基准测试亮眼，尤其不擅长前端设计类工作。

基准成绩与定价

据公开资料，Gemini 4 Argon 在 DeepSWE v1.1 代码基准上取得 77.9% 的成绩，在 CWE-bench v1 漏洞修复测试上为 68%，在 AutomationBench 端到端业务任务上为 51.3%。该模型单次输出最高可达 100 万 token（约 75 万单词），定位软件工程、金融、法律与网络安全等时长较长、复杂度高的任务。

定价方面，入门阶段输入 token 为每百万 2 美元、输出 token 每百万 10 美元，后续将上调至每百万 4 美元与 20 美元。

内部看法出现分歧

谷歌否认”实战表现不佳”的说法，并将彭博社的问询引向谷歌 DeepMind 负责人科拉伊·卡武库奥卢（Koray Kavukcuoglu）此前的公开表态——他对团队性能”抱有十足信心”。一名熟悉研发的谷歌员工则称，公司内部已”形成广泛共识”，认为 Gemini 4 处于行业前沿。

也有员工认为，Anthropic 的 Fable 与 OpenAI 的 Astra 迭代速度已超过 Gemini；另有员工认为新版本已追上领先实验室。业内专家将这种现象称为”基准跑分内卷（Benchmaxxing）”：过度追求测试分数，而非真正把任务做好。

追赶之路并不轻松

Gemini 3 于去年 11 月发布，被视为谷歌追赶 OpenAI 与 Anthropic 的转折点。谷歌曾在今年 5 月 I/O 大会公布 Gemini 3.5 Pro，并承诺次月发布，但据知情人士称该项目后续被搁置。彭博行业研究分析师估算，训练这一级别的大模型单次运行开销最高可达 4 亿美元。

对谷歌而言，Gemini 4 是其几乎全部产品（搜索、地图、邮箱、Chrome）的底层支撑，每一款用户规模都超过十亿。若拿不出顶尖新一代模型，OpenAI 与 Anthropic 打造的编程智能体等产品，就将获得更多说服用户迁移的机会。

MLCommons 近日发布 MLPerf Inference v6.1 基准测试套件。作为衡量不同硬件在 AI 推理任务中吞吐与延迟表现的权威评测，最新 6.1 版本将重点放在推理吞吐、扩展效率，以及不同 GPU 配置下的实际表现。AMD、英伟达、英特尔等厂商在结果公布后同步提交了各自的成绩单。

AMD 派出的 512 卡答卷

AMD 以约 575 万个 token/秒的速度，在 512 个 GPU 的规模下创造了新的 MLPerf 提交纪录，这也是 AMD 迄今为止规模最大的参赛配置，意在证明其性能、规模、软件成熟度与可复现性。

在 DeepSeek R1 这一大模型负载测试中，AMD 派出 512 个 Instinct MI355X GPU 参赛。离线（强调批量处理能力，通常用于衡量系统在非实时场景下的最大吞吐）成绩为 2,901,950 tokens/s，服务器（强调在线服务场景中的吞吐与响应能力，更接近实际部署中的请求处理环境）成绩为 2,405,310 tokens/s。

英伟达的 288 卡对照

同一项目中，英伟达提交了 GB300 与 GB200 的 288 GPU 配置。其中 GB300 离线成绩为 2,705,130 tokens/s，服务器成绩为 2,028,030 tokens/s。需要特别说明的是，两家提交的 GPU 数量并不相同——AMD 用 512 块，英伟达用 288 块，配置存在差异，因此以上数据仅供参考，不能直接当作同规模下的性能对比。

Vera Rubin 首次现身

本次测试的一大看点是英伟达新一代架构 Vera Rubin（VR200）首次进入 MLPerf 推理基准，出现了 36 GPU 与 72 GPU 两种配置。在相同的 72 个 GPU 配置下，Vera Rubin（VR200）要比 GB300 快 95%；此外，其 36 GPU 配置版本甚至比 72-GPU 的 GB200 配置更快。

在 GPT-OSS 120B 负载中，AMD 同样以史上最高的 512 GPU 配置在离线与服务器两类场景中领先；而在 72 GPU 与 8 GPU 段，英伟达的 GB300（Grace Blackwell Ultra）配置则占据上风。AMD 的 MI350P 在 8 GPU 配置下也快于上一代 MI300X。英特尔方面则带来了 Arc Pro B70 与至强（Xeon）的提交，英伟达的 RTX PRO 系列也在 8 GPU 与 4 GPU 配置下参与了测试。

评测之外更值得看什么

从 512 卡到 288 卡，从已量产的 GB300 到首次亮相的 VR200，这一轮提交把 AI 推理吞吐的竞争推到了新的量级。对采购方而言，MLPerf 的价值不只在于“谁跑得更快”，更在于揭示不同规模、不同架构下的扩展效率——在真实业务里，往往不是单卡峰值，而是千卡协同能否不掉链子，才决定了一座 AI 工厂的真正产能。

据《财富》（Fortune）杂志报道，OpenAI 自当地时间 9 月 3 日下午首次发布 GPT-6 Astra 模型公告以来，已经多次修改其中的评测基准数据。一些更新后的数据显示，Astra 的表现有所提升，而最大竞争对手 Anthropic 旗下模型的部分成绩则出现下调。

这场发布过程本身颇为反常。OpenAI 最初计划在美国东部时间 9 月 3 日下午 2 点发布博客文章，但过了近两个小时，页面才被大多数用户正常访问。下午 3 点 32 分，OpenAI 官方 X 账号发布了博客链接，但页面无法正常打开；下午 3 点 50 分，CEO 萨姆·奥尔特曼（Sam Altman）也发出链接，并写道”我们在部署博客文章时遇到了一点小问题，但它真的非常棒”。约一小时后页面才终于可访问。

事实上，OpenAI 在下午 2 点过后不久就发布了博客，随后又将其撤下。公司拒绝披露撤稿原因，仅强调此事与基准测试成绩无关，先后将问题归咎于内容管理系统故障与网络中断。

幻觉率近乎减半

网页存档快照显示，在 9 月 3 日下午 2 点 23 分发布的首个版本中，Astra 的幻觉率为 4.2%。直到下午 5 点 20 分保存的第六份快照（此时页面已基本可正常访问），Astra 的幻觉率及另外四项指标发生变化——幻觉率从 4.2% 直接降至 2%，近乎减半；前代模型 GPT-5.6 Sol 的幻觉率也从 12.2% 降至 9.4%。不过 OpenAI 此后仍在继续修改，截至报道时两项指标又分别回到 4.2% 和 12.2%。

在内部 ExploitBench 网络安全评测中，GPT-5.6 Sol 的成绩从初版的 5.5% 提高到后续版本的 11.5%。OpenAI 表示正在研究是否将其恢复至 5.5%，因为 11.5% 对应的是 GPT-5.6 Sol 当前并未向商业用户开放的推理能力等级。

竞争对手成绩被下调

数据调整甚至早于 9 月 3 日下午 2 点的首次发布。在首份快照中，Anthropic 的 Fable 5.1 在数学评测中的成绩为 87.8%；到下午 5 点 17 分，这一成绩下降近 10 个百分点至 78%，目前又回升至 83%。GPT-5.6 Sol 也经历了从 83% 降至 80.5% 再回到 83% 的波动。

不过，并非所有调整都对 Astra 有利。在面向医疗的 HealthBench Professional 评测中，Anthropic 两款模型的成绩反而提高：Claude Fable 5.1 从 56.6% 升至 58.1%，Opus 5 从 54.5% 升至 56.4%。

是在提高准确性，还是”刷榜”

OpenAI 发言人回应称，由于模型检查点、测试框架与评测运行方式不同，大多数评测结果本就存在几个百分点范围内的波动，”我们进行了修正，以确保这些数字能够代表我们对模型可用性能的最佳估计”。

但一些 AI 专家质疑其中可能存在”刷分”现象——即通过反复调整测试条件、重新运行评测来尽可能提高基准成绩。斯坦福智能系统实验室与可信 AI 实验室的研究人员 Anka Reuel 与 Mike Hardy 指出，这类操作可在极短时间内完成，”对公司的营销更有利”，并认为 Astra 系统卡对评测方法的说明并不充分，例如幻觉率评测”几乎未提供任何方法细节，连测试项目数量都未列出”。

类似的基准争议早有先例：2025 年 Meta 曾否认人为提高 Llama 4 测试成绩，其前首席 AI 科学家杨立昆（Yann LeCun）后来承认公司确实对结果进行过”修饰”。Snorkel AI 的基准测试工程师 Vincent Sunn Chen 则表示，发布前最后几小时调整成绩并不罕见，是最终发布流程的一部分，但他呼吁行业形成新规范——修改成绩时应明确说明评测条件的变化。

对于一家可能计划在 2027 年进行首次公开募股的公司而言，基准成绩既是衡量技术进步的标尺，也是与对手比拼的”记分牌”，其准确性与透明度显得尤为敏感。

先说好消息：纯拼谜能力上 AI 进步飞快。2024 年底，哥伦比亚大学团队发现即便最强的模型也仅能解出 18% 的《纽约时报》Connections 字谜；到 2025 年初，部分模型已能近乎完美地每次通关。

但在另一些维度，模型依然吃瘪。其一是空间推理：即便具备视觉能力的语言模型，在”心理旋转”这类三维物体角度判断题上仍一塌糊涂。其二是记忆与适应：2024 年 Google 与伊利诺伊大学厄巴纳-香槟分校的研究显示，当”骑士与无赖”经典逻辑谜题出现细微变体时，模型常忽略关键差异、照搬训练记忆作答；类似的 SimpleBench 测试也发现，题目若与训练中见过的复杂问题形似，人类能识破陷阱，顶尖模型却会栽跟头。

抽象与视觉推理同样薄弱。在著名的 ARC-AGI 基准中，模型在网格以”颜色数字串”编码输入时表现更好；即便答对，也常依赖繁复却无法泛化的规则。其四是直觉：人类有许多 AI 不具备的认知偏差；2023 年《自然·计算科学》的研究发现，LLM 中曾出现类人的直觉偏差，但在 ChatGPT 中又消失了。其五是复杂度：苹果公司的研究显示，模型能解简单的汉诺塔与渡河谜题，但当圆盘或人数增至 6 以上便开始失败；华盛顿大学、斯坦福大学与艾伦人工智能研究所也观察到逻辑网格谜题（ZebraLogic）存在类似瓶颈。

谜题的价值，正在于既展示 AI 能力的飞跃，也标出它尚未跨越的边界。

真正引发开发者讨论的不是分数本身，而是分数与成本的组合。

三档推理，三种性价比

DeepSeek 向 ARC Prize 提交了三个推理强度变体，分别是 Max（最高）、High（较高）和 Low（较低）。用户可以自行决定单次回答投入多少算力，这一选择会直接反映在每道题的花费上。三档的验证成绩如下：

• 最高档 Max：ARC-AGI-1 得分 89.0%，ARC-AGI-2 得分 61.4%
• 较高档 High：ARC-AGI-1 得分 87.0%，ARC-AGI-2 得分 56.0%
• 较低档 Low：ARC-AGI-1 得分 84.0%，ARC-AGI-2 得分 46.0%

在 ARC-AGI-1 上，最高档与最低档之间只差 5 个百分点；但到了 ARC-AGI-2，两档差距拉开到 15.4 个百分点。这说明第二代基准对模型“想多久”这件事远比第一代敏感——同一个模型少思考一会儿，成绩就会明显滑落。

ARC Prize 尚未公布该模型在 ARC-AGI-3 上的成绩。

ARC-AGI 到底在考什么

ARC-AGI（抽象与推理语料库）由研究者弗朗索瓦·肖莱（François Chollet）设计，考察方向与常见的知识问答、代码生成类基准完全不同。每道题给出几组彩色网格的“输入—输出”示例，模型需要自行推断出其中的变换规则，再把规则套用到一个全新的输入上。

这类题目无法靠背诵互联网语料蒙混过关，考的是面对陌生问题时的泛化能力。ARC-AGI-2 在第一代基础上刻意提高了门槛：加入需要多条规则叠加才能解出的任务，同时剔除了大模型已经学会套路化应对的题型。因此 61.4% 这个数字的含金量，明显高于同一模型在第一代上的 89.0%。

评测采用半私有测试集，题目不对外公开，以避免答案被写进训练数据。本次公布的逐题明细覆盖 ARC-AGI-1 公开集的 400 道题与 ARC-AGI-2 公开集的 120 道题，逐条标注了三个档位各自的通过与失败情况。

成本这一栏，为什么比分数更受关注

ARC Prize 的验证流程把资源消耗视为衡量指标的一部分，所以结果页会把每题成本与得分并列展示。放在整个榜单的成本—分数坐标里，V4 Flash 的位置相当靠左上：分数进入第一梯队，横轴上的花费却低了一到两个数量级。

有开发者在技术社区讨论中指出，V4 Flash 最高档在这张图上的位置已经压过同为开放权重路线的 Kimi K3，与部分闭源前沿模型的得分区间接近，成本却只是后者的零头。需要说明的是，这类对比来自社区解读，并非 ARC Prize 的官方结论。

同样需要提醒的是，0.02 美元和 0.04 美元只对应本次评测中的单道基准题目，不能直接换算成实际业务开销。真实应用里的智能体往往要反复调用工具、维持超长上下文、产出大段文本，累计花费会远高于一道基准题。

开放权重阵营的位置在变化

过去两年，抽象推理长期被视为闭源前沿模型的专属优势区。测试时计算（让模型在回答前多想一会儿）的思路虽然把成绩推了上去，但高档位的单题成本一度停留在数美元量级，规模化使用并不现实。

DeepSeek 由梁文锋创办，总部位于杭州。此次 V4 Flash 0731 以开放权重形态拿到经第三方验证的成绩，意味着开发者既可以调用其接口，也可以自行部署后按需调节推理强度，在延迟、预算和准确率之间做取舍——这种灵活度，正是把推理能力塞进智能体流水线时最实际的考量。

来源：ARC Prize 基金会 ARC-AGI 验证结果页