2.8 万亿参数无显卡跑通:玩家用傲腾内存点亮 Kimi K3

结论:一名网友于 2026 年 11 月 2 日在 Reddit 发帖,用已停产的英特尔傲腾持久内存,在无显卡的 40 核至强平台上跑通了 2.8 万亿参数的月之暗面 Kimi K3 模型。这意味着超大模型推理的瓶颈正从算力转向内存容量。

关键数字:总参数 2.8 万亿 / 每 token 激活约 1040 亿 / 1 比特量化每秒 1.5 词元

指标数值
模型月之暗面 Kimi K3(混合专家)
总参数量2.8 万亿
每 token 激活参数约 1040 亿
处理器40 核第三代英特尔至强可扩展
内存傲腾持久内存 200 系列(单条最高 512GB)
1 比特量化速度每秒 1.50 词元

为什么不用显卡也能跑

Kimi K3 是 2.8 万亿参数的混合专家模型,每 token 仅激活约 1040 亿参数。即便压到 1 比特量化,也至少需要约 610GB 内存空间,远超普通家用主板承载能力。

该网友用一颗 40 核第三代至强可扩展处理器搭配傲腾持久内存 200 系列,经 App Direct 模式映射为独立持久化内存区域,再由 llama.cpp 执行推理,避开了显卡显存。

速度到底有多慢

1 比特量化压缩模型数据后,初始生成速度约每秒 0.85 个词元;关闭直接访问功能 DAX、让常用数据受益于 DRAM 缓存后,速度提升至每秒 1.50 个词元。

3 比特量化测试仅达每秒 0.75 个词元,生成 5 万个词元约需 18.5 小时。实时对话场景下,这一速度不具备可用性。

傲腾为什么是”最后的应用场景”

傲腾持久内存单条容量最高 512GB,比 DRAM 便宜、比 SSD 快,容量优势明显;但带宽远低于显存,速度被卡在个位数。英特尔已于 2022 年第二季度启动傲腾业务收缩,计 5.59 亿美元库存减值,产品线无下一代。

该实验更像是给被市场淘汰的技术找了个最后用途:它证明超大模型可以脱离显卡、靠大容量持久内存跑起来,但无法复制成稳定产品。

适用场景与影响判断

对极客与低成本批处理场景,这套方案有参考价值:不追求实时响应、但需要处理大量数据的任务,用便宜存储介质做内存扩展,成本可能比 GPU 推理低一个数量级。

值得注意的是,傲腾已停产且无售后,配置需支持第三代至强的主板、App Direct 模式与强力散热,普通用户难以直接复现;该测试属于技术验证,非实用方案。

常见问题

普通人能照着复现吗

门槛较高。需支持傲腾的服务器主板与至强处理器,会配置 App Direct 模式、BIOS 与 Linux 内存映射,并解决傲腾满载散热问题。

这套方案比显卡便宜吗

单看内存成本,二手傲腾比同容量 DDR5 便宜数倍;但需配套至强平台,整体仍非家用级方案,且速度远低于显卡。

Kimi K3 官方支持这种玩法吗

官方未公布对此玩法的支持或优化说明。该运行依赖社区 llama.cpp 与用户自行量化,不属于月之暗面的官方部署路径。

信息来源

信息来源:IT之家 2026 年 11 月 13 日报道,原始贴文发布于 Reddit(2026-11-02)。


说说

全部说说