结论：淘宝 MNN 团队于 2026 年 11 月 6 日发布并开源 MNN-Pocket-0.3B 模型，在 iPhone 18 Pro 上完全离线跑出约 350 token/s 解码速度，INT4 部署文件仅 173MB。
关键数字：350 token/s / 173MB / 28 层 / 词表 64K。
关键数据
| 指标 | MNN-Pocket-0.3B | Qwen3-0.6B |
|---|---|---|
| INT4 部署文件体积 | 173MB | 340MB |
| 峰值内存增量（iPad Pro M5） | 228MB | 427MB |
| Decode 吞吐（iPad Pro M5） | 466 token/s | 286 token/s |
| 词表规模 | 64K | 约 151K |
为什么只做 3 亿参数
面向手机应用原生大模型，团队将“峰值内存低于 300MB、解码吞吐高于 200token/s”作为架构选型目标。在约 50M 至 1.3B 参数的多档实验中，约 300M 是同时满足两项约束的最大候选规模。
最终模型采用 28 层结构，结合分组查询注意力（GQA）等配置。从 16 层增至 28 层带来能力提升；继续增至 36 层，评测均分不再提高，解码吞吐却从 355token/s 降至 323token/s。
比 Qwen3-0.6B 强在哪
在 iPad Pro M5、Metal 后端、512token 配置下，MNN-Pocket-0.3B 的 Prefill 吞吐达 8,721token/s，Decode 达 466token/s，约为同条件下 Qwen3-0.6B（286token/s）的 1.63 倍。其部署体积减少约 49%，峰值内存增量减少约 47%。
基于 Qwen3 分词器，团队将词表从约 151K 精简至 64K，词条缩减约 57%，降低了词嵌入与输出层开销。在中文指令遵循 IFEval-zh 评测中，该模型取得 74.59 分，在对比模型中最高。
开源了哪些版本
团队在 GitHub（alibaba/mnn）开源了多个阶段模型：Base 用于继续预训练与领域适配，SFT 用于后训练与蒸馏研究，通用版用于业务任务适配，MNN 版为 W4A16 端侧部署版本，DFlash2 版为投机解码草稿模型，在特定任务下吞吐可达常规自回归的 2.06 倍。
适用场景与判断
这款模型适合手机 App 的端侧轻量任务，如淘宝类综合应用中的本地生成、信息抽取与指令调用，能降低模型下载更新成本并减少对运行内存的占用。它不适合需要复杂多步推理、长思维链或超大知识的场景。
值得注意的是，模型以在指定业务场景达到 8B 级模型效果为目标，并非替代云端大模型，而是把合适的能力下沉到端侧。
常见问题
在哪里可以获取？
模型已在 GitHub 开源，地址为 alibaba/mnn，提供从预训练到端侧部署的多个版本入口。
普通手机能跑吗？
iPhone 18 Pro 真机离线实测平均 Decode 约 350token/s；骁龙 8 Gen 5 CPU 后端达 251token/s；一加 13（骁龙 8 至尊版）4-bit 模型在基准负载下平均增量能耗约 2.7J/轮。
效果接近大模型吗？
团队目标是在指定业务场景达到 8B 级模型效果，中文指令遵循 IFEval-zh 得分 74.59，在覆盖中英文的 11 项评测中平均得分 50.00，高于多款同规模及更大规模对比模型。
信息来源
*信息来源：IT之家 2026 年 11 月 6 日报道（https://www.ithome.com/1/023/212.htm）。*
