700万欧元、8GB显卡可跑:OVH开源Olala mini

结论:欧洲云服务企业 OVHcloud 于 2026 年 11 月 17 日推出首个大模型家族 Olala,并开源首款 Olala mini 7A1B,把 8GB 显存显卡与纯处理器都变成可运行它的硬件。 关键数字:总参数 70 亿、激活参数 10 亿,训练开销 700 万欧元,RTX A4500 上每秒 160 词元。

指标数值说明
总参数 / 激活参数70 亿 / 10 亿每层 256 个专家
训练开销700 万欧元三台欧洲公共超算
GPU 显存门槛8GB可运行的最低显存
RTX A4500 吞吐160 TPSBF16 数据格式
纯 CPU 吞吐50 TPS无 GPU 环境
上下文长度32K 词元1.1 版将升至 128K

混合注意力怎样把显存门槛压到 8GB

Olala mini 7A1B 采用结合 Differential-TPA 与 Mamba-3 的混合注意力机制,使用 BF16 数据格式。总参数 70 亿,但每次请求只激活其中 10 亿,分布在每层的 256 个专家中。

由于只调用模型的一小部分,推理速度与显存占用都随之下降。官方给出的数据是:在 8GB 显存的 GPU 上可以运行,在 RTX A4500 上达到每秒 160 词元的吞吐;没有 GPU、只有标准处理器的环境,也能跑到每秒 50 词元。

700 万欧元算力,Qwant 已用作快答

训练成本是这次发布被反复提及的数字。OVH 表示,Olala mini 7A1B 在欧洲三台公共超级计算机 Jupiter、MeluXina、Jean Zay 上完成训练,硬件为英伟达 GH200、A100、H100,所获公共支持相当于 700 万欧元的算力时长。

开源之外,模型已有落地场景。欧洲搜索引擎 Qwant 把它用于快答功能,官方给出的对比是:回答速度提升 20%,运行成本降为此前所用模型的三分之一。

128K 上下文与 100B 参数的路线图

初始版本上下文长度为 32K 词元。OVH 计划在 2026 年底推出 1.1 版本,把上下文扩展到 128K 词元,并改善数学推理能力。更远的 2.0 版本参数规模将超过 100B,方向是企业智能体、云上运维和网络安全三类专用模型。

这意味着一家以云服务为主业的公司,正把自研模型与自有算力基础设施绑定,模型能力将直接服务于它的云平台产品线。

谁适合本地部署 Olala mini

对需要在本地或私有环境运行智能体模型、又受限于显存预算的开发者与中小企业,8GB 显存门槛和 Apache 2.0 许可让这款模型具备实际部署价值。纯处理器每秒 50 词元的吞吐,也给无 GPU 环境提供了一个可用基线。

对追求通用能力上限、需要处理复杂数学推理的用户,32K 上下文的初始版本并非最优选择,更适合等待 1.1 版本。值得注意的是模型基于欧洲公共超算训练,官方同步发布了人工智能法案合规文档,面向合规要求严格的欧洲市场做了准备。

常见问题

这款模型需要多少显存才能跑起来?

官方数据是 8GB 显存的 GPU 可运行。没有 GPU 时,标准处理器上可达每秒 50 词元。

开源许可允许商用吗?

模型以 Apache 2.0 许可在 Hugging Face 开源,权重、预训练基础模型和技术报告同步发布,该许可允许商业使用与修改。

什么时候会有更长上下文的版本?

OVH 计划 2026 年底推出 1.1 版本,把上下文从 32K 词元扩展到 128K 词元,并提升数学推理表现。

信息来源:IT之家 2026 年 11 月 17 日报道、OVHcloud 官方新闻稿(2026-11-17 发布)。


说说

全部说说