混元姚顺雨Reddit回应一切:下一代将大幅扩参,RSI仍在早期

2026年11月21日凌晨,腾讯首席AI科学家、混元大模型负责人姚顺雨与团队研究员现身Reddit的LocalLLaMA社区,用两小时解答了300余条开发者提问。这是混元团队首次面向全球开发者的公开问答,议题从底层架构、规模路线延伸到递归自我改进与开源安全。

背景是过去不到一个月的高密度发布:11月4日推出的Hy4拿下Agent Arena开源模型榜首、Artificial Analysis中国模型第二;一周后主打极致性价比的Hy4 flash跟进,单任务成本仅为Hy4的二十分之一,上线首日词元调用量突破50万亿。

模型路线:两端并行,下一代显著扩参

混元采用”两端并行”策略:一边扩大规模探索智能上限,一边压缩推理成本。团队确认下一代Hy模型参数量将显著扩大,仍相信规模法则;但同时强调,Hy3和Hy4已证明”做得扎实的小模型往往也能超过更大的模型”,且成本更低。

后续路线也相当具体:Hy4-mini、Flash-Lite已在规划中,24至31B稠密模型、5至12B级小型开源图像模型、新一代视频模型均在评估。关于”是否专门做100B以下编程模型”,团队回应大概率不会。

架构取舍:混合专家并非越稀疏越好

Hy4 flash继承了Hy4的iHC、门控MLA、DSA技术底座,同时新增混合SWA、LatentMoE、Engram三大组件。团队披露了几项权衡:用滑动窗口注意力(SWA)替代门控DSA,可把键值缓存压缩到原来的四分之一;曾在GQA与MLA之间反复权衡,由于DSA降低了MLA解码阶段的计算强度,最终放弃GQA选择效果更优的MLA。

对于”混合专家越稀疏越好”的说法团队给出否定判断:在激活参数量固定前提下提高稀疏度确实提升效率,但保持总参数不变、单纯削减激活参数会显著损害质量——激活参数量本质决定计算预算。团队透露,Engram参数占比的最优点约在总参数量的三分之一;对小模型而言收益反而更大。

后训练难题:过度思考与奖励投机

被问到后训练阶段最难改善的行为时,团队只回了四个字:”过度思考”。Hy4为追求极致智能思维链偏长,但这反而让团队能通过蒸馏把能力迁移到成本更优的Hy4 flash,再用强化学习把思维链压短。

在长程智能体任务的强化学习中,最大挑战是环境漏洞导致的”奖励投机”——例如智能体直接上网搜索现成答案,跳过自主解题过程。团队为此采用细粒度奖励,对关键细节错误施以更严厉惩罚。

量化、部署与开放生态

在量化实操上团队沉淀了四点经验:down投影因激活值存在离群值对量化更敏感,会按敏感度分配更多比特;精度颗粒度倾向按张量分配而非按单个专家;量化感知训练中让路由器与主体一起训练,避免路由漂移与工具调用退化;全参数方案质量优于LoRA类适配器。

硬件门槛方面,96GB显存加128GB系统内存即可运行Hy4 flash,部分专家层可卸载到主机内存。生态上,llama.cpp适配正在推进,已与vllm等框架社区合作,两款模型已可在OpenCode、Claude Code、Cline等工具中直接使用。

关键回应一览

议题混元团队回应
模型规模下一代显著扩参,继续相信规模法则
当前水平团队自评Hy4约为AGI分级2.5级,后训练提升空间仍大
递归自我改进(RSI)仍处早期,已开发内部基准,当前优先打牢基础能力
基准榜单坚持”评测真实性”,GPQA、SWE-bench等已近饱和,不刻意刷榜
开源安全有害数据过滤、训练防护、红队评估三级机制,减少”过度拒绝”仍在改进
写作质量创意写作与可读性列为重点,”一个好例子比五段文字更管用”

安全层面重点训练防御性任务(漏洞分析、修复),过滤进攻性利用数据;团队自评Hy4漏洞发现能力较强、漏洞利用能力相对较弱。

常见问题

96GB显存能跑Hy4 flash吗?

可以。把主要权重与注意力部分留在图形处理器上,部分专家层和Engram查表模块挪到系统内存即可。

为什么不公布常见基准成绩?

团队认为GPQA、SWE-bench等基准分数接近饱和、参考价值下降,更倾向展示智能体编程、真实工程任务等新基准成绩。

会继续开源吗?

团队表示到目前为止会继续走开源路线,并强调看到社区关注工作”非常有成就感”。

信息来源:极客公园《关于混元4模型、算力、刷榜与RSI,姚顺雨回应一切》(2026年11月22日),腾讯科技、智东西对同一场AMA的整理报道。


说说

全部说说