<?xml version="1.0" encoding="UTF-8"?><rss version="2.0"
	xmlns:content="http://purl.org/rss/1.0/modules/content/"
	xmlns:wfw="http://wellformedweb.org/CommentAPI/"
	xmlns:dc="http://purl.org/dc/elements/1.1/"
	xmlns:atom="http://www.w3.org/2005/Atom"
	xmlns:sy="http://purl.org/rss/1.0/modules/syndication/"
	xmlns:slash="http://purl.org/rss/1.0/modules/slash/"
	>

<channel>
	<title>AMA &#8211; mylogs.cn</title>
	<atom:link href="https://mylogs.cn/tag/ama/feed/" rel="self" type="application/rss+xml" />
	<link>https://mylogs.cn</link>
	<description>发现、记录、分享</description>
	<lastBuildDate>Sun, 22 Nov 2026 05:42:38 +0000</lastBuildDate>
	<language>zh-Hans</language>
	<sy:updatePeriod>
	hourly	</sy:updatePeriod>
	<sy:updateFrequency>
	1	</sy:updateFrequency>
	
	<item>
		<title>混元姚顺雨Reddit回应一切：下一代将大幅扩参，RSI仍在早期</title>
		<link>https://mylogs.cn/%e6%b7%b7%e5%85%83%e5%a7%9a%e9%a1%ba%e9%9b%a8reddit%e5%9b%9e%e5%ba%94%e4%b8%80%e5%88%87%ef%bc%9a%e4%b8%8b%e4%b8%80%e4%bb%a3%e5%b0%86%e5%a4%a7%e5%b9%85%e6%89%a9%e5%8f%82%ef%bc%8crsi%e4%bb%8d%e5%9c%a8/</link>
		
		<dc:creator><![CDATA[steve, zhang]]></dc:creator>
		<pubDate>Sun, 22 Nov 2026 05:42:38 +0000</pubDate>
				<category><![CDATA[科技]]></category>
		<category><![CDATA[AMA]]></category>
		<category><![CDATA[Hy4]]></category>
		<category><![CDATA[Reddit]]></category>
		<category><![CDATA[姚顺雨]]></category>
		<category><![CDATA[开源模型]]></category>
		<category><![CDATA[混元]]></category>
		<category><![CDATA[递归自我改进]]></category>
		<guid isPermaLink="false">https://mylogs.cn/%e6%b7%b7%e5%85%83%e5%a7%9a%e9%a1%ba%e9%9b%a8reddit%e5%9b%9e%e5%ba%94%e4%b8%80%e5%88%87%ef%bc%9a%e4%b8%8b%e4%b8%80%e4%bb%a3%e5%b0%86%e5%a4%a7%e5%b9%85%e6%89%a9%e5%8f%82%ef%bc%8crsi%e4%bb%8d%e5%9c%a8/</guid>

					<description><![CDATA[2026年11月21日凌晨，腾讯首席AI科学家、混元大模型负责人姚顺雨与团队研究员现身Reddit的Local [&#8230;]]]></description>
										<content:encoded><![CDATA[<p class="wp-block-paragraph">2026年11月21日凌晨，腾讯首席AI科学家、混元大模型负责人姚顺雨与团队研究员现身Reddit的LocalLLaMA社区，用两小时解答了300余条开发者提问。这是混元团队首次面向全球开发者的公开问答，议题从底层架构、规模路线延伸到递归自我改进与开源安全。</p>
<p class="wp-block-paragraph">背景是过去不到一个月的高密度发布：11月4日推出的Hy4拿下Agent Arena开源模型榜首、Artificial Analysis中国模型第二；一周后主打极致性价比的Hy4 flash跟进，单任务成本仅为Hy4的二十分之一，上线首日词元调用量突破50万亿。</p>
<h2 class="wp-block-heading">模型路线：两端并行，下一代显著扩参</h2>
<figure data-wp-context="{&quot;imageId&quot;:&quot;6b0297cd28bfe&quot;}" data-wp-interactive="core/image" data-wp-key="6b0297cd28bfe" class="wp-block-image wp-lightbox-container"><img decoding="async" data-wp-class--hide="state.isContentHidden" data-wp-class--show="state.isContentVisible" data-wp-init="callbacks.setButtonStyles" data-wp-on--click="actions.showLightbox" data-wp-on--load="callbacks.setButtonStyles" data-wp-on--pointerdown="actions.preloadImage" data-wp-on--pointerenter="actions.preloadImageWithDelay" data-wp-on--pointerleave="actions.cancelPreload" data-wp-on-window--resize="callbacks.setButtonStyles" src="https://mylogs.cn/wp-content/uploads/2026/11/body_d0dd2bc0.webp" alt="混元团队在Reddit举办首次公开AMA的活动预告" style="max-width:100%;height:auto;"/><button
			class="lightbox-trigger"
			type="button"
			aria-haspopup="dialog"
			data-wp-bind--aria-label="state.thisImage.triggerButtonAriaLabel"
			data-wp-init="callbacks.initTriggerButton"
			data-wp-on--click="actions.showLightbox"
			data-wp-style--right="state.thisImage.buttonRight"
			data-wp-style--top="state.thisImage.buttonTop"
		>
			<svg xmlns="http://www.w3.org/2000/svg" width="12" height="12" fill="none" viewBox="0 0 12 12">
				<path fill="#fff" d="M2 0a2 2 0 0 0-2 2v2h1.5V2a.5.5 0 0 1 .5-.5h2V0H2Zm2 10.5H2a.5.5 0 0 1-.5-.5V8H0v2a2 2 0 0 0 2 2h2v-1.5ZM8 12v-1.5h2a.5.5 0 0 0 .5-.5V8H12v2a2 2 0 0 1-2 2H8Zm2-12a2 2 0 0 1 2 2v2h-1.5V2a.5.5 0 0 0-.5-.5H8V0h2Z" />
			</svg>
		</button><figcaption>图片来源：腾讯混元/极客公园</figcaption></figure>
<p class="wp-block-paragraph">混元采用&#8221;两端并行&#8221;策略：一边扩大规模探索智能上限，一边压缩推理成本。团队确认下一代Hy模型参数量将显著扩大，仍相信规模法则；但同时强调，Hy3和Hy4已证明&#8221;做得扎实的小模型往往也能超过更大的模型&#8221;，且成本更低。</p>
<p class="wp-block-paragraph">后续路线也相当具体：Hy4-mini、Flash-Lite已在规划中，24至31B稠密模型、5至12B级小型开源图像模型、新一代视频模型均在评估。关于&#8221;是否专门做100B以下编程模型&#8221;，团队回应大概率不会。</p>
<h2 class="wp-block-heading">架构取舍：混合专家并非越稀疏越好</h2>
<p class="wp-block-paragraph">Hy4 flash继承了Hy4的iHC、门控MLA、DSA技术底座，同时新增混合SWA、LatentMoE、Engram三大组件。团队披露了几项权衡：用滑动窗口注意力（SWA）替代门控DSA，可把键值缓存压缩到原来的四分之一；曾在GQA与MLA之间反复权衡，由于DSA降低了MLA解码阶段的计算强度，最终放弃GQA选择效果更优的MLA。</p>
<p class="wp-block-paragraph">对于&#8221;混合专家越稀疏越好&#8221;的说法团队给出否定判断：在激活参数量固定前提下提高稀疏度确实提升效率，但保持总参数不变、单纯削减激活参数会显著损害质量——激活参数量本质决定计算预算。团队透露，Engram参数占比的最优点约在总参数量的三分之一；对小模型而言收益反而更大。</p>
<h2 class="wp-block-heading">后训练难题：过度思考与奖励投机</h2>
<p class="wp-block-paragraph">被问到后训练阶段最难改善的行为时，团队只回了四个字：&#8221;过度思考&#8221;。Hy4为追求极致智能思维链偏长，但这反而让团队能通过蒸馏把能力迁移到成本更优的Hy4 flash，再用强化学习把思维链压短。</p>
<p class="wp-block-paragraph">在长程智能体任务的强化学习中，最大挑战是环境漏洞导致的&#8221;奖励投机&#8221;——例如智能体直接上网搜索现成答案，跳过自主解题过程。团队为此采用细粒度奖励，对关键细节错误施以更严厉惩罚。</p>
<h2 class="wp-block-heading">量化、部署与开放生态</h2>
<p class="wp-block-paragraph">在量化实操上团队沉淀了四点经验：down投影因激活值存在离群值对量化更敏感，会按敏感度分配更多比特；精度颗粒度倾向按张量分配而非按单个专家；量化感知训练中让路由器与主体一起训练，避免路由漂移与工具调用退化；全参数方案质量优于LoRA类适配器。</p>
<p class="wp-block-paragraph">硬件门槛方面，96GB显存加128GB系统内存即可运行Hy4 flash，部分专家层可卸载到主机内存。生态上，llama.cpp适配正在推进，已与vllm等框架社区合作，两款模型已可在OpenCode、Claude Code、Cline等工具中直接使用。</p>
<h2 class="wp-block-heading">关键回应一览</h2>
<figure class="wp-block-table"><table><thead><tr><th>议题</th><th>混元团队回应</th></tr></thead><tbody><tr><td>模型规模</td><td>下一代显著扩参，继续相信规模法则</td></tr><tr><td>当前水平</td><td>团队自评Hy4约为AGI分级2.5级，后训练提升空间仍大</td></tr><tr><td>递归自我改进（RSI）</td><td>仍处早期，已开发内部基准，当前优先打牢基础能力</td></tr><tr><td>基准榜单</td><td>坚持&#8221;评测真实性&#8221;，GPQA、SWE-bench等已近饱和，不刻意刷榜</td></tr><tr><td>开源安全</td><td>有害数据过滤、训练防护、红队评估三级机制，减少&#8221;过度拒绝&#8221;仍在改进</td></tr><tr><td>写作质量</td><td>创意写作与可读性列为重点，&#8221;一个好例子比五段文字更管用&#8221;</td></tr></tbody></table></figure>
<p class="wp-block-paragraph">安全层面重点训练防御性任务（漏洞分析、修复），过滤进攻性利用数据；团队自评Hy4漏洞发现能力较强、漏洞利用能力相对较弱。</p>
<h2 class="wp-block-heading">常见问题</h2>
<h3 class="wp-block-heading">96GB显存能跑Hy4 flash吗？</h3>
<p class="wp-block-paragraph">可以。把主要权重与注意力部分留在图形处理器上，部分专家层和Engram查表模块挪到系统内存即可。</p>
<h3 class="wp-block-heading">为什么不公布常见基准成绩？</h3>
<p class="wp-block-paragraph">团队认为GPQA、SWE-bench等基准分数接近饱和、参考价值下降，更倾向展示智能体编程、真实工程任务等新基准成绩。</p>
<h3 class="wp-block-heading">会继续开源吗？</h3>
<p class="wp-block-paragraph">团队表示到目前为止会继续走开源路线，并强调看到社区关注工作&#8221;非常有成就感&#8221;。</p>
<p class="wp-block-paragraph"><strong>信息来源</strong>：极客公园《关于混元4模型、算力、刷榜与RSI，姚顺雨回应一切》（2026年11月22日），腾讯科技、智东西对同一场AMA的整理报道。</p>]]></content:encoded>
					
		
		
			</item>
	</channel>
</rss>
