8 月 28 日，腾讯混元团队开源新一代大语言模型 Hy4 preview。该模型总参数 770B、每 token 激活约 49B，采用混合专家（MoE）架构，原生上下文长度达到 1,048,576 tokens（约 1M），并以 Apache 2.0 许可证发布，权重可自由商用与再分发。据公开信息，Hy4 preview 由腾讯首席 AI 科学家姚顺雨带队，距离上一代 Hy3 正式版发布仅约八周。

MoE 架构与 1M 上下文

Hy4 preview 的 MoE 结构包含 78 层，由 256 个路由专家与 1 个共享专家组成，每次推理 top-8 激活，每 token 仅激活约 6.4% 的参数。这种设计让模型拥有大参数容量，推理成本却按 49B 量级计算。其原生 1M 上下文意味着可以一次性塞进数百页技术文档或一整个代码仓库进行分析。

为支撑长上下文，模型注意力采用 Gated DeepSeek Sparse Attention（Gated DSA），配合跨层稀疏索引复用（IndexCache）与 4 条 iHC 残差流，使 1M 上下文在显存与计算上保持可控。模型还自带 10B 总参、0.7B 激活的 MTP 草稿层，用于投机解码，配合 vLLM、SGLang 可在不损失分布的前提下提升吞吐。

“帮自己优化”的递归自改进

腾讯称 Hy4 参与了自身训练方法、数据策略、评估与底层算子优化，并自主分析推理瓶颈、做算子融合与通信优化，端到端吞吐较基线提升 31.8%（内部结果）。官方将其定位为面向长上下文编码、办公与科研的数据中心级生产力旗舰。

开源生态与价格

据第三方聚合的定价信息，Hy4 preview 的 API 输入价格约 0.83 美元 / 百万 tokens、输出约 2.5 美元 / 百万 tokens，在同类开源旗舰中具备价格优势。腾讯同时发布主权重与 FP8 权重，并在 TokenHub 上提供 OpenAI Chat Completions、Responses 与 Anthropic Messages 多种协议接入。

在一项 163 名专家对 203 个工程任务的盲测中，Hy4 preview 综合得分 2.99/4，略高于 GLM-5.3 的 2.92 与 Kimi K3 的 2.94，但差距不足 0.1 分，官方也自述为”略胜”。官方同时提示，作为 preview 版本，模型在复杂任务上容易出现”长思考”与过度自我验证的倾向。对于希望数据不出域、可私有化部署的企业而言，Apache 2.0 许可与开源权重提供了一个可商用的新选项。