国产GPU跑通Kimi K3.1 Pro:摩尔线程3万亿参数

11 月 4 日,月之暗面正式公布 Kimi K3.1 Pro 的完整模型权重。仅仅两天后,国产 GPU 厂商摩尔线程便宣布,基于自研 AI 训推一体智算卡 MTT S5000 与 MUSA 软件栈,完成了该模型的 Day-0 适配,打通了模型加载、服务启动以及文本、图片基础推理的完整链路。这意味着这款参数规模达 3 万亿级的国产开源大模型,能够在国产全功能 GPU 上稳定运行并对外提供推理服务。

开源榜与基准表现亮眼

在 Arena 运营的 Agent Arena 智能体排行榜中,Kimi K3.1 Pro(Max)位列开放权重模型第一、全部参评模型第 13 位,并在工作、编程与聊天三个类别中均居开放模型首位。作为 K3.1 系列的首款模型,它也是迄今能力最强的 3 万亿级参数模型,支持 100 万 token 上下文。

经过大规模后训练与强化学习,该模型在代码、3D 创作、金融研究、知识问答以及长程 Agent 任务等方面均有全面提升。在代码与 Agent 基准测试中,其表现已达到或接近顶尖闭源模型水平:Terminal-Bench 4.0 得分 65.7%,Kimi Code Bench 3.0 Long-horizon 得分 61.2%,均高于上一代 K3 的 55.95%。

MUSA 软件栈支撑快速迁移

摩尔线程方面表示,围绕 Kimi K3.1 Pro 的模型架构与计算特性,团队通过 MUSA 软件栈完成了关键推理路径的迁移与适配,使模型能够在 MTT S5000 上稳定运行。

MUSA 的快速兼容能力是本次 Day-0 适配的基础。它在编程模型、运行时接口和 AI 框架层面具备快速迁移能力,团队基于 SGLang-MUSA 承接上游模型实现,并通过 MATE 算子库、Triton-MUSA、TileLang-MUSA 及 MTCC 编译器,完成新架构关键计算路径的迁移与接入,把社区模型代码转化为 MTT S5000 上的实际推理服务。MUSA 软件栈同时覆盖框架执行、算子编译、设备运行与多卡通信,让模型适配能够复用成熟接口,并针对新增计算路径开展优化。

针对新架构的专项优化

针对 Kimi K3.1 Pro 采用的稀疏注意力 DSA,MUSA 软件栈完成了索引选择、KV 缓存布局以及 Prefill、Decode 计算路径的适配,接入 MATE 稀疏注意力算子,并与 KDA 状态管理、跨层残差及视觉 Attention 共同组成完整执行链路,这也是模型能够同时处理文本与图片输入的关键。

面对模型采用的 MXFP4 专家权重,团队通过在线转换与跨层复用 FP8 工作区的方式执行专家计算,无需预先生成完整的离线 FP8 权重,为超大模型的快速部署提供了便利。

国产算力与模型的协同意义

摩尔线程表示,后续将持续推进 Kimi K3.1 Pro 在 MTT S5000 上的性能优化,围绕核心算子、显存管理与多机通信持续打磨,进一步提升模型运行效率与稳定性,为开发者提供更具性价比的 Token 服务。从产业视角看,国产大模型公布权重后短时间内即获得国产 GPU 的 Day-0 支持,体现出”国产模型 + 国产算力”全栈协同能力的成熟,也为前沿大模型在国产硬件上的部署与落地提供了可复用的路径。


说说

全部说说