一颗只做推理的芯片

Jalapeño 由 OpenAI 与博通（Broadcom）联合开发，台积电以 N3P 工艺代工。2026 年 9 月 12 日，在美国斯坦福大学举行的 Hot Chips 2026 大会上，OpenAI 硬件副总裁 Richard Ho 主讲并披露了从架构设计到流片仅用约九个月的工程过程。

与传统 AI 加速卡不同，Jalapeño 的设计哲学从立项起就放弃训练能力，将全部晶体管投入到”推理”这一单一场景。所谓推理，是指模型训练完成后每天回答用户问题的过程。Richard Ho 强调，团队关心的核心指标并非峰值算力，而是首个 Token 的响应时间（TTFT）、Token 之间的间隔（TPOT）以及整段请求的端到端延迟——这与传统芯片厂商习惯比拼”峰值 FLOPS”的思路完全相反。

关键规格一览

整套机架可容纳 128 颗加速器，聚合算力约 1.7 EFLOPS（4bit）、显存 27.5TB，整机功耗约 160kW；设计还能继续扩展至每个集群 2048 颗加速器，集群级 4bit 算力可达约 27 EFLOPS。

实测表现：换了把尺子

真正的”杀手锏”在实测数据。根据 SemiAnalysis 的 InferenceX 基准，在 GPT-OSS 120B 模型上，Jalapeño 每千瓦可产出约 85448 个 Token，对照的英伟达 GB200 约为 44960；在 DeepSeek R1 的 8K 输入加 1K 输出测试中，端到端延迟从对照系统的 5.99 秒降至 1.65 秒。

综合来看，Jalapeño 的峰值能效是 GB200/GB300 系统的 1.5 至 1.9 倍，端到端延迟低 1.7 至 3.6 倍，超低延迟场景下更快 2.1 至 4.1 倍。整套机架功耗仅相当于英伟达 NVL72 或 AMD Helios 同档方案的 40% 至 60%。

架构上，Jalapeño 采用”权重驻留脉动阵列”与”切片式内存架构”两大关键设计：模型参数被尽量固定在芯片上，输入数据流过阵列而非来回搬运，从而把模型状态保持在更接近计算的位置。芯片、内存、网络、调度软件与机柜被当成一台机器来设计。

意味着什么

对英伟达意味着什么？

OpenAI 官方明确表示，未来会继续大规模使用英伟达及其他合作伙伴的加速器承担训练和推理工作。Jalapeño 的意义不在于取代 GPU，而在于证明 OpenAI 具备做出一颗具有竞争力的推理 ASIC 的能力，并将自家的模型需求直接固化到硬件层面。

对中国市场有何参考？

自研推理芯片以降低”每单位智能的功耗成本”，是头部大模型公司的共同方向。中国 AI 产业在推理芯片自主化上的持续投入，亦可从这个角度对照观察——能效与延迟取代峰值算力，正在成为新一代 AI 芯片的通用评价标准。

有哪些保留？

SemiAnalysis 同时提醒，Jalapeño 与 GB200、GB300 的比较并不能覆盖全部竞争现实，因为英伟达 Vera Rubin 已经进入新一代产品周期；更复杂的长上下文、多轮 Agent 工作负载，也尚未通过 AgentX 完整检验。目前的测试主要针对固定长度的推理场景（如 8K 输入、1K 输出），结论适用范围需冷静看待。

结语

一颗名叫 Jalapeño 的芯片，把 OpenAI 推到了另一张牌桌上。它真正超预期的地方，不只是跑进了第一梯队的能效与延迟，而是连衡量算力的尺子也换了一把：少谈一颗芯片能跑多少峰值算力，多问一兆瓦电究竟能换回多少有用的智能。这把新尺子，后续会被更多自研 AI 芯片沿用。