9B参数跑出56次层计算:寒武纪首日适配商汤新模型

结论:寒武纪在2026年11月17日宣布完成对商汤SenseNova Loop-9B模型的Day 0适配,该模型约9B参数却扩展出56次层计算,4bit量化权重约4.9GB,部署显存需求低至10GB以内。
关键数字:9B参数 / 56次层计算 / 4.9GB权重

指标数值说明
模型参数约9B循环复用共享中间层
计算深度32个物理解码层扩展为56次层计算静态展开为56个顺序层
量化后权重约4.9GB官方4bit量化
部署显存需求低至10GB以内降低本地与私有化部署门槛

寒武纪做了哪些适配

商汤科技2026年11月17日晚发布SenseNova Loop-9B模型,寒武纪次日宣布完成Day 0适配,基于vllm_mlu打通模型在MLU平台上的推理链路。适配围绕Loop循环结构、MLU算子适配、mHC路由优化三个方向展开。

第一个方向是Loop循环层静态展开。寒武纪将循环计算转换为56个顺序执行的层,使模型复用vLLM标准调度和KV cache机制。不同执行槽位的循环层共享同一份权重存储,显存占用与32层模型相同。

三个技术方向如何落地

第二个方向是MLU算子适配。针对Attention、Linear Attention和MLP等核心模块,寒武纪替换为vllm_mlu中已有的Qwen3-Next系列算子;多模态部分复用Qwen3.5-VL的视觉变换器与处理器,打通文本与图像输入的推理链路。

第三个方向是mHC路由性能优化。归一化通过TMO融合接口实现,减少算子执行开销;Sinkhorn计算则借助CNAgent Triton Skill自动生成Triton融合算子,整合为单个内核,降低多次内核启动带来的调度成本。

这次适配意味着什么

对开发者而言,这意味着新模型发布当天就能在国产算力平台上部署,不必等待适配窗口。约4.9GB的量化权重与10GB以内的显存需求,把部署门槛压到消费级硬件可覆盖的范围,有利于本地与私有化落地。

值得注意的是,Day 0适配解决的是“能不能跑”,模型在Agent、代码与数据分析任务中的实际表现,仍需结合具体业务场景评估。寒武纪表示将持续完善vllm_mlu对循环计算、混合注意力、多模态等架构的支持。

常见问题

Day 0适配是什么意思?

指模型发布当天即完成硬件平台适配,寒武纪在SenseNova Loop-9B发布次日宣布打通其MLU平台推理链路。

普通显卡能部署这个模型吗?

官方4bit量化后权重约4.9GB,部署显存需求低至10GB以内,显存达到该门槛的显卡具备部署条件。

信息来源:IT之家2026年11月18日报道,结合寒武纪官方公告及凤凰科技当日报道整理。


说说

全部说说