MLCommons 近日发布 MLPerf Inference v6.1 基准测试套件。作为衡量不同硬件在 AI 推理任务中吞吐与延迟表现的权威评测，最新 6.1 版本将重点放在推理吞吐、扩展效率，以及不同 GPU 配置下的实际表现。AMD、英伟达、英特尔等厂商在结果公布后同步提交了各自的成绩单。

AMD 派出的 512 卡答卷

AMD 以约 575 万个 token/秒的速度，在 512 个 GPU 的规模下创造了新的 MLPerf 提交纪录，这也是 AMD 迄今为止规模最大的参赛配置，意在证明其性能、规模、软件成熟度与可复现性。

在 DeepSeek R1 这一大模型负载测试中，AMD 派出 512 个 Instinct MI355X GPU 参赛。离线（强调批量处理能力，通常用于衡量系统在非实时场景下的最大吞吐）成绩为 2,901,950 tokens/s，服务器（强调在线服务场景中的吞吐与响应能力，更接近实际部署中的请求处理环境）成绩为 2,405,310 tokens/s。

英伟达的 288 卡对照

同一项目中，英伟达提交了 GB300 与 GB200 的 288 GPU 配置。其中 GB300 离线成绩为 2,705,130 tokens/s，服务器成绩为 2,028,030 tokens/s。需要特别说明的是，两家提交的 GPU 数量并不相同——AMD 用 512 块，英伟达用 288 块，配置存在差异，因此以上数据仅供参考，不能直接当作同规模下的性能对比。

Vera Rubin 首次现身

本次测试的一大看点是英伟达新一代架构 Vera Rubin（VR200）首次进入 MLPerf 推理基准，出现了 36 GPU 与 72 GPU 两种配置。在相同的 72 个 GPU 配置下，Vera Rubin（VR200）要比 GB300 快 95%；此外，其 36 GPU 配置版本甚至比 72-GPU 的 GB200 配置更快。

在 GPT-OSS 120B 负载中，AMD 同样以史上最高的 512 GPU 配置在离线与服务器两类场景中领先；而在 72 GPU 与 8 GPU 段，英伟达的 GB300（Grace Blackwell Ultra）配置则占据上风。AMD 的 MI350P 在 8 GPU 配置下也快于上一代 MI300X。英特尔方面则带来了 Arc Pro B70 与至强（Xeon）的提交，英伟达的 RTX PRO 系列也在 8 GPU 与 4 GPU 配置下参与了测试。

评测之外更值得看什么

从 512 卡到 288 卡，从已量产的 GB300 到首次亮相的 VR200，这一轮提交把 AI 推理吞吐的竞争推到了新的量级。对采购方而言，MLPerf 的价值不只在于“谁跑得更快”，更在于揭示不同规模、不同架构下的扩展效率——在真实业务里，往往不是单卡峰值，而是千卡协同能否不掉链子，才决定了一座 AI 工厂的真正产能。

随着 AI 推理（inference）成为企业工作负载的主流，组织需要重新思考底层基础设施的设计逻辑。过去，算力规模往往是唯一的标尺；如今，速度、能效、可扩展性与每瓦性能共同决定了一套系统能否把 AI 的真正价值释放到现实业务中。

Tirias Research 创始人兼首席分析师 Jim McGregor 指出，业界常把 AI 当作单一工作负载，但事实并非如此。他在与 MIT Technology Review Insights 的合作分析中表示：”AI 不是单一工作负载，而是成千上万、乃至数十亿个不同的工作负载。”推理任务往往是持续的、地理分布的，并且对响应时间高度敏感，这就要求系统从一开始就被设计成可扩展、有韧性且高效的形态。

医疗保健系统实时分析数以百万计的数据点以加速救命研究、智能助手一次性解决数千个复杂客户诉求——这些真实场景都依赖一套先进的基础设施作为”持续智能”的引擎，在支撑实时服务的同时，也驱动着越来越聪明的物联网与消费级设备边缘。在这一由推理驱动的新格局里，每一次延迟、每一个瓶颈、每一瓦浪费，都会直接影响结果质量与运营成本。

数据搬运成为新瓶颈

传统企业 IT 可以依赖相对稳定的基础设施假设，但推理与智能体（agentic）AI 带来了延迟、数据搬运、可扩展性和利用率方面的全新需求。以检索增强生成（RAG）为例，这类技术需要系统不断扫描海量数据库以生成准确回答，不仅对算力要求高，更要求数据能够被即时取用。

McGregor 认为，随着数据实时查询量的激增，”数据如何在更广的架构中被高效搬运、缓存和交付”变得至关重要，内存与存储由此从后台支撑角色上升为战略资产。单纯采购最快的处理器已不够，推理高度依赖内存带宽、缓存、存储就近性，以及快速稳定取回相关信息的能力。他强调，最高效的 AI 基础设施看上去不像一堆顶级零件的堆叠，而更像计算、内存、存储与网络的均衡系统。”你必须把这四者作为一个整体来设计才能高效，这正是挑战所在。”

把基础设施采购当成战略

规划 AI 基础设施不只是挑选最快的硬件，更关键的是如何在技术快速迭代时避免被过早锁死。McGregor 提出几点框架：

• 先明确要优化的 AI 工作负载，避免为泛化的”AI 就绪”过度投入而留下瓶颈；
• 为计算、内存、存储、供电与散热构建模块化架构，让容量随需求变化；
• 与完整的供应商和集成商生态合作，降低供应风险；
• 持续重估采购策略，因为硬件与商业模式变化太快；
• 优化效率与投资回报，而非只追求峰值性能——能效本身已是面向公众的指标，更高的利用率能回应外界对耗电与耗水的审视。

结论

在推理时代，内存与存储不再是被动的仓库，而是 AI 持续运转的”血液”。McGregor 预测，未来的竞争优势将越来越多属于那些把计算、内存、存储与网络当作一个整体、能够规模化且可量化回报地高效交付 AI 的企业。他总结道，采购即战略，系统设计已是领导层议题——”每一位高管都必须回答的一个核心问题是：AI 将如何改变我的商业模式？”

*本文基于 MIT Technology Review Insights 发布的行业分析，该内容由人类研究撰写，并在人工监督下使用 AI 工具辅助生产流程。*

苹果新款 Mac Studio 可以通过雷雳 5（Thunderbolt 5）接口与 RDMA（远程直接内存访问）技术将多台机器互联，形成一个共享内存池，用来运行更大的 AI 模型。MacRumors 在 2026 年 8 月 26 日报道了这一能力。

四台并联，推理速度翻三倍

根据苹果的说法，若将四台 Mac Studio 集群化，AI 推理速度可达单机运行的 3 倍。共享内存池的作用，是让系统能够载入当前最强的一批开放权重前沿大模型——这类模型参数量巨大，单机通常难以一次性装下。

新款 Mac Studio 于 2026 年 8 月 25 日发布，搭载 M5 Ultra 芯片。苹果近年来持续强化 Mac 的本地 AI 推理定位，强调数据留在设备端、无需上传云端即可完成大模型运算。把多台机器用高速总线连成一体，相当于在不依赖外部算力集群的前提下，为本地方向的 AI 开发提供更大显存与更高吞吐。

对开发者意味着什么

对个人开发者和小型团队而言，这种集群思路降低了”在本地跑大模型”的门槛：无需采购专业加速卡，也能借助多台 Mac Studio 的组合获得可观的推理性能。苹果在搭载 Apple 芯片的 Mac 上提供统一的内存架构，CPU、GPU 与神经引擎共享同一块高带宽内存，雷雳 5 与远程直接内存访问则进一步把多台机器的内存打通，使大模型的权重可以在机器之间流动。

Mac Studio 在中国市场通过 Apple 中国官网及零售店销售，对于希望在本地方便运行大模型的国内开发者与团队有一定参考价值。

同态加密：服务器「算得了」却「看不见」

同态加密（Homomorphic Encryption）是一类允许直接在密文上做计算的技术。借助它，服务器可以处理加密后的数据、返回加密结果，而全程不暴露任何底层信息。一个直观的例子是：云服务可以在完全看不到用户特征的情况下，给出个性化的内容推荐。这并非概念演示，谷歌博客中展示的示例已经实现了这一场景。

当然，同态加密并非免费午餐。它带来可观的计算开销，把「能力—隐私」的取舍变成了「成本」问题。好消息是，这项成本正在快速下降：相关开销从早年九个数量级以上，收敛到如今许多工作负载下约千倍的水平。

HEIR 是什么

HEIR 是「Homomorphic Encryption Intermediate Representation（同态加密中间表示）」的缩写，是谷歌构建的一套基于 MLIR 的开源编译器工具链。它的核心能力，是把原本在明文上运行的预训练 AI 模型，转换为能在加密输入上运行的版本。谷歌的愿景，是把 HEIR 做成「一键式」方案，让没有密码学背景的工程师也能把加密推理接进生产系统。

这不是凭空起的项目。谷歌自 2023 年公布相关意向以来，同态加密社区已逐渐接纳 HEIR。它先后与多家研发同态加密硬件加速器的公司达成合作，包括 Belfort、Niobium、Cornami 与 Optalysys。HEIR 同时也成了高校研究的平台：佐治亚理工学院、卡内基梅隆大学、加州大学圣塔芭芭拉分校、印度理工学院、普渡大学、爱丁堡大学以及清华大学等团队都基于它开展工作。截至目前，已有四篇经过同行评审的论文建立在 HEIR 之上，更多论文正在准备中。

四个已跑通的隐私推理示例

为说明同态加密已经走到哪一步，谷歌公开了四个用 HEIR 编译的私有推理应用（延迟数据均基于单线程 CPU）：

• 深度学习推荐模型：与 Belfort Labs、LG、纽约大学合作，实现私有内容推荐；
• 信用卡欺诈检测：与 Niobium、hardshell.ai 合作编译；
• 入侵威胁检测：与 Niobium 合作，把 Kitsune 加密网络流量异常检测系统编译上线，使服务商能在不泄露数据包内容的前提下发现异常；
• 唤醒词检测：与 Belfort Labs 合作，让语音触发的 AI 智能体在识别唤醒词的同时，保护录音的隐私。

HEIR 目前支持 BGV、BFV、CKKS、CGGI 等多种同态加密方案，并对接 OpenFHE、Lattigo、tfhe-rs、Jaxite 等后端。

它和「可信执行环境」不是一回事

需要厘清的是，同态加密与另一种隐私方案——可信执行环境（TEE，如硬件机密计算飞地）——处在不同的位置。TEE 能以接近原生的速度承载大模型推理，代价是必须信任硬件厂商与证明链；同态加密的数学保证则更彻底：服务器在密文上计算，从原理上无法读取用户数据，但付出的代价是延迟和模型规模。一个被广泛引用的判断是：未来数年里，大模型交给 TEE，小而高敏的模型交给 FHE，是更诚实的分工。

事实上，目前全球最大规模的全同态加密落地，来自苹果——其在 iOS 18 的来电号码查询、增强视觉搜索等功能中，通过自研的 swift-homomorphic-encryption 在不暴露电话号码与图片特征的前提下查询服务端数据库。

仍属「小模型」阶段

对开发者而言，务实的判断不是「要不要加密 AI 管线」，而是手上的负载是否长成示例的样子：小模型、敏感输入、不该信任明文的服务端、且能容忍秒级而非毫秒级延迟。欺诈评分、健康信号分类、网络遥测分析、私有检索都在此列。至于在加密数据上跑大模型，短期内仍不现实。

来源：Google Security Blog（作者 Jeremy Kun，Staff Software Engineer）