Kimi K3 – mylogs.cn https://mylogs.cn 发现、记录、分享 Sat, 01 Aug 2026 12:16:17 +0000 zh-Hans hourly 1 2.8万亿参数跑进笔记本：Kimi K3靠硬盘流式运行 https://mylogs.cn/2-8%e4%b8%87%e4%ba%bf%e5%8f%82%e6%95%b0%e8%b7%91%e8%bf%9b%e7%ac%94%e8%ae%b0%e6%9c%ac%ef%bc%9akimi-k3%e9%9d%a0%e7%a1%ac%e7%9b%98%e6%b5%81%e5%bc%8f%e8%bf%90%e8%a1%8c/ https://mylogs.cn/2-8%e4%b8%87%e4%ba%bf%e5%8f%82%e6%95%b0%e8%b7%91%e8%bf%9b%e7%ac%94%e8%ae%b0%e6%9c%ac%ef%bc%9akimi-k3%e9%9d%a0%e7%a1%ac%e7%9b%98%e6%b5%81%e5%bc%8f%e8%bf%90%e8%a1%8c/#respond Sat, 01 Aug 2026 12:16:04 +0000 https://mylogs.cn/2-8%e4%b8%87%e4%ba%bf%e5%8f%82%e6%95%b0%e8%b7%91%e8%bf%9b%e7%ac%94%e8%ae%b0%e6%9c%ac%ef%bc%9akimi-k3%e9%9d%a0%e7%a1%ac%e7%9b%98%e6%b5%81%e5%bc%8f%e8%bf%90%e8%a1%8c/ 一个名为 WASTE 的开源推理引擎，把参数量高达 2.78 万亿的 Kimi K3 完整跑在了一台 64GB 内存的 MacBook Pro 上。开发者强调，这不是蒸馏版、剪枝版或任何缩水变体，而是完整的开放权重模型。

2.8万亿参数跑进笔记本：Kimi K3靠硬盘流式运行
图片来源：Wikimedia Commons / D-Kuru，CC BY-SA 4.0

一台笔记本，跑万亿级模型

WASTE 全称 Weight-Aware Streaming Tensor Engine（权重感知流式张量引擎），用 C 语言编写，运行时不依赖任何第三方库，没有 BLAS，没有 ONNX，推理路径里也没有 Python。

它给出的成绩单是：Kimi K3 转换后形成一个 982 GiB 的容器文件，引擎启动的内存下限为 29.05 GB，在 64GB 内存的机器上实测速度为每秒 0.45 到 0.62 个词元。项目文档里贴出的一次实际运行记录显示，回答”意大利的首都是哪里”这个问题，输出 16 个词元耗时 25.78 秒。

这个速度确实慢。但开发者认为，慢不是重点：目前没有找到另一份公开的、在消费级机器上通过磁盘流式运行万亿级模型的演示，而业内记录最完整的 6710 亿参数方案，前提是一台配备 1TB 内存的服务器。

原理：把闲置的权重放回硬盘

这套方案能成立，靠的是混合专家架构的稀疏特性。Kimi K3 每处理一个词元，只会从 896 个路由专家中激活 16 个，实际参与运算的权重约占总量的 4%。绝大部分权重在任一时刻都处于闲置状态，而闲置的权重不需要待在内存里，只需要”能及时取到”。

WASTE 的做法是把模型主干常驻内存，专家权重留在硬盘上，并按特定布局排列——每条专家记录按 4KiB 对齐，门控、上投影、下投影三个矩阵相邻存放，因此路由到一个专家只需要一次读取操作，而不是三次。剩余内存全部用作有界的专家缓存。

真正拉开差距的优化有两项。一是把专家读取与算术运算重叠执行，收益约 1.6 倍。二是”抢跑”：下一层的专家编号本来要等隐藏状态算出来才知道，但路由器本身是常驻内存的，于是引擎在每层结束时，直接用当前层的隐藏状态去跑下一层的路由器，提前把它点名的专家取回来。这个提前一个残差块的猜测，排名第一的命中率为 92%，前六名合计 81%，把缓存命中率从 14% 拉到 38%，而总读取字节数完全不变。

专家权重采用残差矢量量化存储，三级 256 条目码本作用于 8 维向量，平均每个权重 3.00 比特；模型主干则保持 4 比特和 8 比特精度。开发者试过把主干也压到 3 比特，结果输出直接崩溃。

硬盘速度决定一切

文档反复强调，存储速度不是细节问题。处理一个词元需要读取 17GB 的专家数据，走内部固态硬盘的实测带宽是每秒 12.78GB，模型能流畅串起来；换成 USB 外置硬盘只有每秒 0.94GB，同一个词元要等 13 秒。结论很直接：外置硬盘只用来下载，转换后的容器必须放在机器内置的 NVMe 上。

内存预算也存在反直觉的现象。在 64GB 的机器上，46GB 预算跑出 0.53 到 0.55 词元每秒，是曲线最高点；而预算调到 52GB 时结果在 0.04 到 0.46 之间剧烈跳动，完全不可复现；调到 58GB 更是稳定跌到 0.02 至 0.03。原因不是缓存失效，而是引擎虽然守住了自己的预算，机器整体却已经放不下，操作系统开始换页。

对于不想拿出一整块 TB 级硬盘的人，同一套引擎和格式可以运行 Kimi-Linear-48B，容器只有 19GB，内存门槛 1.87GB，速度能到每秒 10.7 个词元。

意义在哪

开发者对项目名字的解释是：每一个由云端服务生成的词元都被付费了两次，一次是账单，一次是数据中心的电费——而那个模型本可以（勉强、别扭但确实可以）跑在已经摆在桌上的硬件里。

这套方案指向的场景很明确：一个前沿规模的模型，回答问题时不需要联网，没有按词元计费的账单，也没有任何数据离开本机。对于”这些数据不能发给外部接口”的场合，差别就是能做和不能做。

作为验证对象的 Kimi K3 于 7 月 27 日由月之暗面公开权重，总参数量 2.8 万亿，支持 100 万词元上下文与原生视觉理解，是目前参数规模最大的开放权重模型。WASTE 项目方称，引擎和格式本身并不特别针对 K3，选它只是因为它是当下最难啃的一块骨头——能流式跑通 2.78 万亿参数，跑 480 亿参数自然轻松。

来源：GitHub 开源项目 sqliteai/waste 项目文档、Hacker News；Kimi K3 参数信息来自月之暗面官方发布

]]> https://mylogs.cn/2-8%e4%b8%87%e4%ba%bf%e5%8f%82%e6%95%b0%e8%b7%91%e8%bf%9b%e7%ac%94%e8%ae%b0%e6%9c%ac%ef%bc%9akimi-k3%e9%9d%a0%e7%a1%ac%e7%9b%98%e6%b5%81%e5%bc%8f%e8%bf%90%e8%a1%8c/feed/ 0 Kimi K3上线即爆火，国家超算平台紧急加推包月套餐 https://mylogs.cn/kimi-k3%e4%b8%8a%e7%ba%bf%e5%8d%b3%e7%88%86%e7%81%ab%ef%bc%8c%e5%9b%bd%e5%ae%b6%e8%b6%85%e7%ae%97%e5%b9%b3%e5%8f%b0%e7%b4%a7%e6%80%a5%e5%8a%a0%e6%8e%a8%e5%8c%85%e6%9c%88%e5%a5%97%e9%a4%90/ https://mylogs.cn/kimi-k3%e4%b8%8a%e7%ba%bf%e5%8d%b3%e7%88%86%e7%81%ab%ef%bc%8c%e5%9b%bd%e5%ae%b6%e8%b6%85%e7%ae%97%e5%b9%b3%e5%8f%b0%e7%b4%a7%e6%80%a5%e5%8a%a0%e6%8e%a8%e5%8c%85%e6%9c%88%e5%a5%97%e9%a4%90/#respond Tue, 28 Jul 2026 08:01:36 +0000 https://mylogs.cn/kimi-k3%e4%b8%8a%e7%ba%bf%e5%8d%b3%e7%88%86%e7%81%ab%ef%bc%8c%e5%9b%bd%e5%ae%b6%e8%b6%85%e7%ae%97%e5%b9%b3%e5%8f%b0%e7%b4%a7%e6%80%a5%e5%8a%a0%e6%8e%a8%e5%8c%85%e6%9c%88%e5%a5%97%e9%a4%90/ 7月27日深夜，月之暗面正式开源 Kimi K3 模型。仅过了一晚，7月28日，国家超算互联网 AI 社区便宣布上线 Kimi K3 相关模型及 API 调用服务——企业和开发者既可以快速下载模型文件进行本地部署和二次开发，也可以通过 API 一键调用，直接使用这款 2.8 万亿参数开源大模型的能力。

Kimi K3上线即爆火，国家超算平台紧急加推包月套餐
图片来源：Wikimedia Commons（CC BY-SA 4.0，Oleg Alexandrov 摄，超级计算机机架资料图）

更能说明热度的是平台的临场反应。据《科创板日报》报道，Kimi K3 上线后，API 请求量远超超算互联网平台的预期。为了满足不同层次用户的需求，平台在原有按量计费的基础上，紧急推出了「Token Plan」包月订阅模式，采用精细化积分计费，并兼容主流终端与 AI 编程工具。一款开源模型逼得国家级算力平台连夜加推套餐，这样的场面并不多见。

全球最大开源模型，全链条开放

Kimi K3 的分量确实够重。它采用混合专家（MoE）架构，总参数量达到 2.8 万亿，约为前代 K2.5 的 3 倍，是目前全球参数规模最大的开源大模型。本次开源采用修改版 MIT 许可证，覆盖模型权重、技术报告，以及支撑 K3 训练的三项底层基础设施技术：MoonEP、FlashKDA 和 AgentEnv。

这三项技术是 K3 在算力受限条件下实现高效训练的核心支撑。按官方介绍，MoonEP 是专为超大规模细粒度 MoE 打造的高性能通信库；FlashKDA 是 Kimi Delta 注意力机制的高性能算子实现，在英伟达 H20 芯片上预填充速度较基线提升 1.72 至 2.22 倍；AgentEnv 则是联合 KVCache.ai 开发的智能体沙箱系统，支持环境快照、恢复与分叉，用于大规模多智能体并行训练。

在架构层面，K3 结合 Stable LatentMoE 框架，可以在 896 个专家中高效激活 16 个，再加上训练方法和数据配方的优化，整体规模化训练效率相比 K2 提升约 2.5 倍。

半小时登顶，产业链「零日适配」

开源消息放出后，全球开发者社区的反应相当激烈。Hugging Face 首席执行官 Clem Delangue 公开表示，Kimi K3 上线仅 30 分钟便收获超过 4000 个点赞，登顶平台趋势榜榜首，创下 Hugging Face 成立以来最快的发布增长纪录；上线前半小时，已有近 3700 名开发者在排队等待下载。

产业链的跟进速度同样罕见。中国市场方面，华为昇腾 CANN 宣布昇腾 950 全系列、Atlas A3 产品完成 Kimi K3 部署适配；阿里云真武 M890 超节点实例实现首日适配，千问 AI 平台与阿里云百炼后续也将上线 Kimi K3 的 API。海外方面，Nebius、Baseten、Fireworks 等主流 AI 基础设施厂商均宣布首日完成适配，Nebius 更是评价 Kimi K3 为「首个达到前沿性能水平的开放权重模型」。

国家级算力平台入场意味着什么

国家超算互联网此次的快速跟进，对开发者是实打实的利好。此前想跑通一个万亿级参数模型，要么自建昂贵的 GPU 集群，要么依赖海外云服务；现在通过国家级算力平台，下载、部署、API 调用一站式打通，新推出的包月订阅还让中小团队能以更可控的成本用上顶级开源模型。

对月之暗面而言，这也是商业化提速的一环。该公司总裁张予彤此前披露，K3 发布后企业年度经常性收入（ARR）实现数倍增长，6 月中旬已突破 3 亿美元；其新一轮融资也已启动，投前估值涨至 315 亿美元。开源模型、国家算力、云厂商三方合流，Kimi K3 的这波热度，恐怕还要持续一段时间。

来源：36氪《超算互联网AI社区上线Kimi K3相关模型及API调用服务》、科创板日报、每日经济新闻

]]> https://mylogs.cn/kimi-k3%e4%b8%8a%e7%ba%bf%e5%8d%b3%e7%88%86%e7%81%ab%ef%bc%8c%e5%9b%bd%e5%ae%b6%e8%b6%85%e7%ae%97%e5%b9%b3%e5%8f%b0%e7%b4%a7%e6%80%a5%e5%8a%a0%e6%8e%a8%e5%8c%85%e6%9c%88%e5%a5%97%e9%a4%90/feed/ 0 2.8万亿参数Kimi K3开源，美国云平台连夜抢着接入 https://mylogs.cn/2-8%e4%b8%87%e4%ba%bf%e5%8f%82%e6%95%b0kimi-k3%e5%bc%80%e6%ba%90%ef%bc%8c%e7%be%8e%e5%9b%bd%e4%ba%91%e5%b9%b3%e5%8f%b0%e8%bf%9e%e5%a4%9c%e6%8a%a2%e7%9d%80%e6%8e%a5%e5%85%a5/ https://mylogs.cn/2-8%e4%b8%87%e4%ba%bf%e5%8f%82%e6%95%b0kimi-k3%e5%bc%80%e6%ba%90%ef%bc%8c%e7%be%8e%e5%9b%bd%e4%ba%91%e5%b9%b3%e5%8f%b0%e8%bf%9e%e5%a4%9c%e6%8a%a2%e7%9d%80%e6%8e%a5%e5%85%a5/#respond Tue, 28 Jul 2026 05:57:33 +0000 https://mylogs.cn/2-8%e4%b8%87%e4%ba%bf%e5%8f%82%e6%95%b0kimi-k3%e5%bc%80%e6%ba%90%ef%bc%8c%e7%be%8e%e5%9b%bd%e4%ba%91%e5%b9%b3%e5%8f%b0%e8%bf%9e%e5%a4%9c%e6%8a%a2%e7%9d%80%e6%8e%a5%e5%85%a5/ 7月27日，月之暗面（Moonshot AI）正式开源旗舰大模型 Kimi K3 的完整权重，这是全球首个进入「3万亿参数俱乐部」的开源模型。仅一天之后，美国通信云服务商 Telnyx 就宣布将 Kimi K3 上架自家推理平台 Telnyx Inference API——在此之前，Together AI 和 Modal 已经实现了「零日接入」。一款中国开源模型发布即被海外平台争相上架，这在以往并不多见。

2.8万亿参数Kimi K3开源，美国云平台连夜抢着接入
图片来源：Wikimedia Commons（公有领域，Kimi 聊天界面示例截图，软件版权归月之暗面所有）

2.8万亿参数背后的技术账

Kimi K3 采用混合专家（MoE）架构，总参数量高达 2.8 万亿，内置 896 个路由专家，每个 token 仅激活其中 16 个。这意味着虽然参数规模惊人，但单次推理的实际计算量只是总参数的一小部分，兼顾了规模与效率。

模型的另外几项核心规格同样抢眼：上下文窗口达到 100 万 token（精确值为 1,048,576），可以直接处理整个代码库或超长文档；原生支持视觉能力，文本、图片、视频输入共用同一个模型，无需外挂视觉适配器。

支撑这些能力的是两项架构创新——Kimi Delta Attention（KDA）混合线性注意力和 Attention Residuals（注意力残差）。官方技术报告显示，与上一代 K2 相比，K3 的参数规模扩大约 3 倍，整体扩展效率反而提升了约 2.5 倍。

除模型权重外，月之暗面还同步开源了三项训练基础设施：面向超大规模 MoE 的高性能通信库 MoonEP、KDA 高性能算子 FlashKDA（在英伟达 H20 上预填充速度较基线提升 1.72 至 2.22 倍），以及与 KVCache.ai 合作开发的智能体沙箱系统 AgentEnv。

海外平台为何抢着上架

Telnyx 在发布说明中列出了接入 Kimi K3 的理由：可配置的推理强度（低、高、最大三档）、函数调用与 JSON 结构化输出、默认开启的提示词前缀缓存——这些都是构建智能体应用的关键能力。在 Telnyx 平台上，K3 与 Kimi K2.6、GLM-5.2-FP8、MiniMax M3 等模型并列可选。

Telnyx 还给出了一个耐人寻味的判断：AI 行业的竞争优势，正在从「谁能造出最聪明的模型」转向「谁掌握决定每个请求跑在哪里的基础设施」，而 K3 的出现恰恰说明，模型侧的问题正在被开源力量解决。该公司认为，K3 在编程、推理和智能体任务的基准测试中已能与海外头部闭源模型正面竞争，「开源与前沿实验室的差距没有想象中大，某些场景甚至已经追平」。

生态连锁反应已经出现

开源发布后，产业链反应迅速：阿里云千问平台宣布上线 K3；华为昇腾完成「零日适配」，这是首个在中国自研芯片上跑通的开放 3 万亿级模型。投行也给出了评价——摩根士丹利称，Kimi K3 证明中国大模型在规模、性能、定价三个层面实现了全方位追赶；高盛则认为，中国开源模型的智能水平已达到全球大规模普及的临界点。

不过，「开源」不等于「人人可用」。2.8 万亿参数的体量意味着本地部署门槛极高，仅加载模型就需要至少 10 张 GB300 级别的 GPU。也正因如此，K3 上线后不久便因算力紧张暂停了新用户订阅——对绝大多数开发者而言，通过云平台调用 API 仍是现实的选择，这也解释了海外推理平台为何急于第一时间上架。

来源：Telnyx 官方发布说明、Hacker News、Pandaily、腾讯新闻

]]> https://mylogs.cn/2-8%e4%b8%87%e4%ba%bf%e5%8f%82%e6%95%b0kimi-k3%e5%bc%80%e6%ba%90%ef%bc%8c%e7%be%8e%e5%9b%bd%e4%ba%91%e5%b9%b3%e5%8f%b0%e8%bf%9e%e5%a4%9c%e6%8a%a2%e7%9d%80%e6%8e%a5%e5%85%a5/feed/ 0 2.8 万亿参数：月之暗面发布全球最大开源模型 Kimi K3 https://mylogs.cn/2-8-%e4%b8%87%e4%ba%bf%e5%8f%82%e6%95%b0%ef%bc%9a%e6%9c%88%e4%b9%8b%e6%9a%97%e9%9d%a2%e5%8f%91%e5%b8%83%e5%85%a8%e7%90%83%e6%9c%80%e5%a4%a7%e5%bc%80%e6%ba%90%e6%a8%a1%e5%9e%8b-kimi-k3/ https://mylogs.cn/2-8-%e4%b8%87%e4%ba%bf%e5%8f%82%e6%95%b0%ef%bc%9a%e6%9c%88%e4%b9%8b%e6%9a%97%e9%9d%a2%e5%8f%91%e5%b8%83%e5%85%a8%e7%90%83%e6%9c%80%e5%a4%a7%e5%bc%80%e6%ba%90%e6%a8%a1%e5%9e%8b-kimi-k3/#respond Sun, 26 Jul 2026 21:45:01 +0000 https://mylogs.cn/2-8-%e4%b8%87%e4%ba%bf%e5%8f%82%e6%95%b0%ef%bc%9a%e6%9c%88%e4%b9%8b%e6%9a%97%e9%9d%a2%e5%8f%91%e5%b8%83%e5%85%a8%e7%90%83%e6%9c%80%e5%a4%a7%e5%bc%80%e6%ba%90%e6%a8%a1%e5%9e%8b-kimi-k3/ 2026 年 7 月 16 日，中国 AI 初创公司月之暗面（Moonshot AI）正式发布了新一代旗舰开源模型 Kimi K3。这款拥有 2.8 万亿参数的模型，成为迄今为止全球参数规模最大的开源 AI 系统。

2.8 万亿参数：月之暗面发布全球最大开源模型 Kimi K3
AI生成配图

性能逼近全球最强模型

Kimi K3 的综合能力在多项基准测试中表现突出。在 GDPval-AA v2 测试中——该测试覆盖 44 个职业和 9 大行业的真实任务——Kimi K3 以 1687 分排名第三，仅次于 Anthropic 的 Claude Fable 5 Max（1815 分）和 OpenAI 的 GPT-5.6 Sol Max（1747.8 分）。

在长时程知识工作的专项测试 AA-Briefcase 中，K3 甚至以 1527 分超越了 GPT-5.6 Sol Max（1495 分），跃居第二。更令人瞩目的是，在需要长时程高难度信息检索的 BrowseComp 基准测试中，K3 取得了 91.2 分（满分 100 分）的最优成绩。

在真实任务自动化测试中，Kimi K3 在 8 项基准测试中有 4 项排名第一，包括 Automation Bench、SpreadsheetBench 2 和 BrowseComp 等。

值得注意的是，UC Berkeley 开发的 AI 评测平台 Arena 发布的数据显示，K3 在前端代码竞技榜中以 1679 分登顶，超越了 Claude Fable 5。

技术架构突破

Kimi K3 采用了月之暗面内部自研的两项关键架构创新：Kimi Delta Attention（一种混合线性注意力机制）和 Attention Residuals（残差连接的替代方案，能在模型规模扩大时提供更稳定的性能提升）。这两项技术此前都已在 GitHub 上作为开源研究发布。

模型拥有 100 万 token 的上下文窗口、原生视觉理解能力，以及始终开启的推理模式（”thinking mode”）。在百万 token 场景下，解码速度最高可提升 6.3 倍。

API 和定价

Kimi K3 的 API 兼容 OpenAI SDK，降低了开发者的集成门槛。定价方面，输入 tokens 为每百万 3 美元，输出 tokens 为每百万 15 美元，缓存输入 tokens 仅为每百万 0.30 美元——性能接近顶级闭源模型，但定价仅为 Anthropic Opus 4.8 的一半左右。

权重计划于 2026 年 7 月 27 日公开发布。用户也可直接访问 kimi.com 免费体验这款模型。

行业意义

月之暗面的 K3 发布时机恰逢 2026 年世界人工智能大会在上海举办。此前，中国开源模型通常被认为落后于美国顶尖模型半年以上。K3 的表现正在挑战这一认知。

开源模型社区的普遍反应是：”开源模型不再落后西方闭源模型六个月了。”这意味着开源 AI 运动正在经历一个转折点——在模型能力接近的情况下，开源模型的可定制性和低成本优势将更加突出。

相关新闻：Anthropic 15 亿美元版权和解获法院批准

2026 年 7 月 20 日，旧金山联邦法院正式批准了 AI 公司 Anthropic 与作者群体之间的 15 亿美元版权集体诉讼和解协议。这是美国版权诉讼史上最大的和解金额。

该诉讼指控 Anthropic 在训练 Claude 模型时，未经授权使用了约 48 万部版权作品。此前主审法官 William Alsup 已裁定，用版权作品训练 AI 模型属于”合理使用”，但 Anthropic 从盗版网站下载并存储数百万册图书的行为本身违法。Anthropic 最终选择和解，避免了陪审团审判可能开出的更高罚单。

根据协议，95% 以上的权利人已认领赔偿，每部作品平均获赔约 3000 美元。

信息来源：MIT Technology Review、Reuters、VentureBeat、钛媒体

]]> https://mylogs.cn/2-8-%e4%b8%87%e4%ba%bf%e5%8f%82%e6%95%b0%ef%bc%9a%e6%9c%88%e4%b9%8b%e6%9a%97%e9%9d%a2%e5%8f%91%e5%b8%83%e5%85%a8%e7%90%83%e6%9c%80%e5%a4%a7%e5%bc%80%e6%ba%90%e6%a8%a1%e5%9e%8b-kimi-k3/feed/ 0