结论:一名网友于 2026 年 11 月 2 日在 Reddit 发帖,用已停产的英特尔傲腾持久内存,在无显卡的 40 核至强平台上跑通了 2.8 万亿参数的月之暗面 Kimi K3 模型。这意味着超大模型推理的瓶颈正从算力转向内存容量。
关键数字:总参数 2.8 万亿 / 每 token 激活约 1040 亿 / 1 比特量化每秒 1.5 词元
| 指标 | 数值 |
|---|---|
| 模型 | 月之暗面 Kimi K3(混合专家) |
| 总参数量 | 2.8 万亿 |
| 每 token 激活参数 | 约 1040 亿 |
| 处理器 | 40 核第三代英特尔至强可扩展 |
| 内存 | 傲腾持久内存 200 系列(单条最高 512GB) |
| 1 比特量化速度 | 每秒 1.50 词元 |
为什么不用显卡也能跑
Kimi K3 是 2.8 万亿参数的混合专家模型,每 token 仅激活约 1040 亿参数。即便压到 1 比特量化,也至少需要约 610GB 内存空间,远超普通家用主板承载能力。
该网友用一颗 40 核第三代至强可扩展处理器搭配傲腾持久内存 200 系列,经 App Direct 模式映射为独立持久化内存区域,再由 llama.cpp 执行推理,避开了显卡显存。
速度到底有多慢
1 比特量化压缩模型数据后,初始生成速度约每秒 0.85 个词元;关闭直接访问功能 DAX、让常用数据受益于 DRAM 缓存后,速度提升至每秒 1.50 个词元。
3 比特量化测试仅达每秒 0.75 个词元,生成 5 万个词元约需 18.5 小时。实时对话场景下,这一速度不具备可用性。
傲腾为什么是”最后的应用场景”
傲腾持久内存单条容量最高 512GB,比 DRAM 便宜、比 SSD 快,容量优势明显;但带宽远低于显存,速度被卡在个位数。英特尔已于 2022 年第二季度启动傲腾业务收缩,计 5.59 亿美元库存减值,产品线无下一代。
该实验更像是给被市场淘汰的技术找了个最后用途:它证明超大模型可以脱离显卡、靠大容量持久内存跑起来,但无法复制成稳定产品。
适用场景与影响判断
对极客与低成本批处理场景,这套方案有参考价值:不追求实时响应、但需要处理大量数据的任务,用便宜存储介质做内存扩展,成本可能比 GPU 推理低一个数量级。
值得注意的是,傲腾已停产且无售后,配置需支持第三代至强的主板、App Direct 模式与强力散热,普通用户难以直接复现;该测试属于技术验证,非实用方案。
常见问题
普通人能照着复现吗
门槛较高。需支持傲腾的服务器主板与至强处理器,会配置 App Direct 模式、BIOS 与 Linux 内存映射,并解决傲腾满载散热问题。
这套方案比显卡便宜吗
单看内存成本,二手傲腾比同容量 DDR5 便宜数倍;但需配套至强平台,整体仍非家用级方案,且速度远低于显卡。
Kimi K3 官方支持这种玩法吗
官方未公布对此玩法的支持或优化说明。该运行依赖社区 llama.cpp 与用户自行量化,不属于月之暗面的官方部署路径。
信息来源
信息来源:IT之家 2026 年 11 月 13 日报道,原始贴文发布于 Reddit(2026-11-02)。







