<?xml version="1.0" encoding="UTF-8"?><rss version="2.0"
	xmlns:content="http://purl.org/rss/1.0/modules/content/"
	xmlns:wfw="http://wellformedweb.org/CommentAPI/"
	xmlns:dc="http://purl.org/dc/elements/1.1/"
	xmlns:atom="http://www.w3.org/2005/Atom"
	xmlns:sy="http://purl.org/rss/1.0/modules/syndication/"
	xmlns:slash="http://purl.org/rss/1.0/modules/slash/"
	>

<channel>
	<title>可解释性 &#8211; mylogs.cn</title>
	<atom:link href="https://mylogs.cn/tag/%e5%8f%af%e8%a7%a3%e9%87%8a%e6%80%a7/feed/" rel="self" type="application/rss+xml" />
	<link>https://mylogs.cn</link>
	<description>发现、记录、分享</description>
	<lastBuildDate>Sun, 16 Aug 2026 08:31:15 +0000</lastBuildDate>
	<language>zh-Hans</language>
	<sy:updatePeriod>
	hourly	</sy:updatePeriod>
	<sy:updateFrequency>
	1	</sy:updateFrequency>
	
	<item>
		<title>只学小学课本，大模型的能力上限就被锁死了</title>
		<link>https://mylogs.cn/littlelearner-llm-k5-knowledge-boundary/</link>
		
		<dc:creator><![CDATA[steve, zhang]]></dc:creator>
		<pubDate>Sun, 16 Aug 2026 08:30:59 +0000</pubDate>
				<category><![CDATA[科技]]></category>
		<category><![CDATA[人工智能研究]]></category>
		<category><![CDATA[可解释性]]></category>
		<category><![CDATA[大模型训练]]></category>
		<category><![CDATA[开源模型]]></category>
		<category><![CDATA[知识边界]]></category>
		<category><![CDATA[预训练数据]]></category>
		<guid isPermaLink="false">https://mylogs.cn/littlelearner-llm-k5-knowledge-boundary/</guid>

					<description><![CDATA[一项「受控」的极端实验 现代大语言模型几乎是在「什么都学」的海量语料上训练的，因此外界很难判断：模型表现出的某 [&#8230;]]]></description>
										<content:encoded><![CDATA[
<h2 class="wp-block-heading">一项「受控」的极端实验</h2>



<p class="wp-block-paragraph">现代大语言模型几乎是在「什么都学」的海量语料上训练的，因此外界很难判断：模型表现出的某项能力，究竟是真正「学会」了，还是只是被提示词「唤醒」了既有的知识。一个名为 LittleLearner 的研究项目换了一种思路——直接把训练数据本身限定住。</p>



<figure data-wp-context="{&quot;imageId&quot;:&quot;6a8bc9e53b58b&quot;}" data-wp-interactive="core/image" data-wp-key="6a8bc9e53b58b" class="wp-block-image size-large aligncenter wp-lightbox-container"><img fetchpriority="high" decoding="async" width="1200" height="821" data-wp-class--hide="state.isContentHidden" data-wp-class--show="state.isContentVisible" data-wp-init="callbacks.setButtonStyles" data-wp-on--click="actions.showLightbox" data-wp-on--load="callbacks.setButtonStyles" data-wp-on--pointerdown="actions.preloadImage" data-wp-on--pointerenter="actions.preloadImageWithDelay" data-wp-on--pointerleave="actions.cancelPreload" data-wp-on-window--resize="callbacks.setButtonStyles" src="https://mylogs.cn/wp-content/uploads/2026/08/A_futuristic_abstract_illustra_2026-08-16T08-28-47.webp" alt="只学小学课本，大模型的能力上限就被锁死了" class="wp-image-5068" style="max-width:100%;height:auto;" srcset="https://mylogs.cn/wp-content/uploads/2026/08/A_futuristic_abstract_illustra_2026-08-16T08-28-47.webp 1200w, https://mylogs.cn/wp-content/uploads/2026/08/A_futuristic_abstract_illustra_2026-08-16T08-28-47-300x205.webp 300w, https://mylogs.cn/wp-content/uploads/2026/08/A_futuristic_abstract_illustra_2026-08-16T08-28-47-1024x701.webp 1024w, https://mylogs.cn/wp-content/uploads/2026/08/A_futuristic_abstract_illustra_2026-08-16T08-28-47-768x525.webp 768w" sizes="(max-width: 1200px) 100vw, 1200px" /><button
			class="lightbox-trigger"
			type="button"
			aria-haspopup="dialog"
			data-wp-bind--aria-label="state.thisImage.triggerButtonAriaLabel"
			data-wp-init="callbacks.initTriggerButton"
			data-wp-on--click="actions.showLightbox"
			data-wp-style--right="state.thisImage.buttonRight"
			data-wp-style--top="state.thisImage.buttonTop"
		>
			<svg xmlns="http://www.w3.org/2000/svg" width="12" height="12" fill="none" viewBox="0 0 12 12">
				<path fill="#fff" d="M2 0a2 2 0 0 0-2 2v2h1.5V2a.5.5 0 0 1 .5-.5h2V0H2Zm2 10.5H2a.5.5 0 0 1-.5-.5V8H0v2a2 2 0 0 0 2 2h2v-1.5ZM8 12v-1.5h2a.5.5 0 0 0 .5-.5V8H12v2a2 2 0 0 1-2 2H8Zm2-12a2 2 0 0 1 2 2v2h-1.5V2a.5.5 0 0 0-.5-.5H8V0h2Z" />
			</svg>
		</button><figcaption class="wp-element-caption">AI生成配图</figcaption></figure>





<p class="wp-block-paragraph">研究团队从 FineWeb-Edu 语料出发，经过五道过滤管线，提炼出一份 880 亿 token 的「小学课程库」（LittleCurriculum），严格对齐美国 Common Core 课程标准（幼儿园至五年级，即 K–5）。所有五年级以上才会涉及的概念、事实和词汇，都被明确排除在外。</p>



<h2 class="wp-block-heading">只上过小学的模型</h2>



<p class="wp-block-paragraph">基于这份语料，团队从零训练了三个规格的模型，参数量分别为 6 亿、13 亿和 50 亿，并为每一个都配备了一个使用未过滤语料训练的「对照组」，以便做干净的比较。</p>



<p class="wp-block-paragraph">实验得出了清晰的结论，可以概括为「唤醒，而非习得」：无论是扩大模型规模、做 SFT 加 GRPO 的后期训练，还是在上下文里给示例（in-context learning），都只能放大课程库里已经教过的内容，却无法真正提升课程范围之外（五年级以上）的能力。换句话说，预训练阶段的数据过滤器，设定了模型能力的实际上限。</p>



<h2 class="wp-block-heading">规模、后期训练、上下文学习都救不了</h2>



<p class="wp-block-paragraph">具体来看，扩大模型参数量，确实能提升课程范围内的表现，也能小幅延伸到同一学习轨迹上的问题，但对需要更高阶能力的问题几乎毫无帮助。用 GRPO 把模型训练成数学专精后，K–5 范围内的数学能力显著增强，可即便喂入课程之外的数据，五年级以上的能力缺口依然补不回来。在团队测试的提示条件下，上下文学习也没能为 50 亿参数的 LittleLearner 解锁新的推理能力。</p>



<h2 class="wp-block-heading">为什么这个边界有价值</h2>



<p class="wp-block-paragraph">正因为训练范围被明确定义，研究者才能把模型行为的变化，直接对应到「教了什么」上。他们提出了三个方向：用强化学习检验「能力能否被奖励驱动出来」；观察引入负数等新概念时的学习效率与遗忘；以及把机器和人类儿童放在相同暴露条件下做对比，看两者学分数、解应用题时是否犯类似的错。</p>



<p class="wp-block-paragraph">这项由 Fanfei Li、Wieland Brendel 等人完成的工作（arXiv:2608.13545，2026）提示了一个朴素的道理：当我们在讨论一个大模型「懂不懂」某件事时，答案很可能早在它出生的那一刻，就被训练数据写好了。</p>



<p class="has-small-font-size wp-block-paragraph">来源：LittleLearner 项目团队（arXiv:2608.13545）</p>

]]></content:encoded>
					
		
		
			</item>
		<item>
		<title>答对却说不清：AI的“推理”可能是场蒙对</title>
		<link>https://mylogs.cn/%e7%ad%94%e5%af%b9%e5%8d%b4%e8%af%b4%e4%b8%8d%e6%b8%85%ef%bc%9aai%e7%9a%84%e6%8e%a8%e7%90%86%e5%8f%af%e8%83%bd%e6%98%af%e5%9c%ba%e8%92%99%e5%af%b9/</link>
		
		<dc:creator><![CDATA[steve, zhang]]></dc:creator>
		<pubDate>Fri, 31 Jul 2026 23:08:31 +0000</pubDate>
				<category><![CDATA[科技]]></category>
		<category><![CDATA[AI推理]]></category>
		<category><![CDATA[Quanta]]></category>
		<category><![CDATA[人工智能研究]]></category>
		<category><![CDATA[可解释性]]></category>
		<category><![CDATA[大模型]]></category>
		<category><![CDATA[思维链]]></category>
		<guid isPermaLink="false">https://mylogs.cn/%e7%ad%94%e5%af%b9%e5%8d%b4%e8%af%b4%e4%b8%8d%e6%b8%85%ef%bc%9aai%e7%9a%84%e6%8e%a8%e7%90%86%e5%8f%af%e8%83%bd%e6%98%af%e5%9c%ba%e8%92%99%e5%af%b9/</guid>

					<description><![CDATA[如今的大型推理模型能解开奥数金牌级别的难题，也能改进悬而未决的数学猜想，但一个越来越尖锐的问题摆在研究者面前： [&#8230;]]]></description>
										<content:encoded><![CDATA[
<p class="wp-block-paragraph">如今的大型推理模型能解开奥数金牌级别的难题，也能改进悬而未决的数学猜想，但一个越来越尖锐的问题摆在研究者面前：这些模型给出的正确答案，究竟是“想明白了”，还是“碰巧蒙对了”？科技媒体 Quanta Magazine 在7月31日的一篇报道中，梳理了这场关于AI是否真会“推理”的争论。</p>



<figure data-wp-context="{&quot;imageId&quot;:&quot;6a8bc9e53c45c&quot;}" data-wp-interactive="core/image" data-wp-key="6a8bc9e53c45c" class="wp-block-image size-large aligncenter wp-lightbox-container"><img decoding="async" width="1200" height="630" data-wp-class--hide="state.isContentHidden" data-wp-class--show="state.isContentVisible" data-wp-init="callbacks.setButtonStyles" data-wp-on--click="actions.showLightbox" data-wp-on--load="callbacks.setButtonStyles" data-wp-on--pointerdown="actions.preloadImage" data-wp-on--pointerenter="actions.preloadImageWithDelay" data-wp-on--pointerleave="actions.cancelPreload" data-wp-on-window--resize="callbacks.setButtonStyles" src="https://mylogs.cn/wp-content/uploads/2026/08/33899e03ff71e9e7cdfd00dafe043231_header.webp" alt="答对却说不清：AI的“推理”可能是场蒙对" class="wp-image-3073" style="max-width:100%;height:auto;" srcset="https://mylogs.cn/wp-content/uploads/2026/08/33899e03ff71e9e7cdfd00dafe043231_header.webp 1200w, https://mylogs.cn/wp-content/uploads/2026/08/33899e03ff71e9e7cdfd00dafe043231_header-300x158.webp 300w, https://mylogs.cn/wp-content/uploads/2026/08/33899e03ff71e9e7cdfd00dafe043231_header-1024x538.webp 1024w, https://mylogs.cn/wp-content/uploads/2026/08/33899e03ff71e9e7cdfd00dafe043231_header-768x403.webp 768w" sizes="(max-width: 1200px) 100vw, 1200px" /><button
			class="lightbox-trigger"
			type="button"
			aria-haspopup="dialog"
			data-wp-bind--aria-label="state.thisImage.triggerButtonAriaLabel"
			data-wp-init="callbacks.initTriggerButton"
			data-wp-on--click="actions.showLightbox"
			data-wp-style--right="state.thisImage.buttonRight"
			data-wp-style--top="state.thisImage.buttonTop"
		>
			<svg xmlns="http://www.w3.org/2000/svg" width="12" height="12" fill="none" viewBox="0 0 12 12">
				<path fill="#fff" d="M2 0a2 2 0 0 0-2 2v2h1.5V2a.5.5 0 0 1 .5-.5h2V0H2Zm2 10.5H2a.5.5 0 0 1-.5-.5V8H0v2a2 2 0 0 0 2 2h2v-1.5ZM8 12v-1.5h2a.5.5 0 0 0 .5-.5V8H12v2a2 2 0 0 1-2 2H8Zm2-12a2 2 0 0 1 2 2v2h-1.5V2a.5.5 0 0 0-.5-.5H8V0h2Z" />
			</svg>
		</button><figcaption class="wp-element-caption">图片来源：Quanta Magazine</figcaption></figure>





<h2 class="wp-block-heading">“思维链”可能只是一层表演</h2>



<p class="wp-block-paragraph">争论的焦点，是大型推理模型在作答时输出的那一长串“思维链”。表面上，它像是模型一步步的思考过程；但多项研究发现，这段文字既未必忠实反映模型内部真正在做什么，对最终答案也未必有实质的因果作用。</p>



<p class="wp-block-paragraph">圣塔菲研究所的AI研究者 Melanie Mitchell 给出三点结论：这类模型确实有效；它们的思维链并不忠实；其中大量文字甚至可以删掉而不影响结果。亚利桑那州立大学的 Subbarao Kambhampati（前美国人工智能学会主席）措辞更直接，把这些中间文本称为“含混的嘟囔”，并呼吁停止把它们拟人化地当成“思考”。</p>



<h2 class="wp-block-heading">一串点号也能替代“思考过程”</h2>



<p class="wp-block-paragraph">支撑这些质疑的，是一批设计精巧的实验。纽约大学的研究者在2024年发现，把可读的思维链替换成一串毫无意义的“填充符号”（比如连续的点号），模型在部分任务上依然能得到正确答案。东北大学与加州大学伯克利分校2025年的研究进一步指出，前沿开源推理模型中，30%到60%的“思考步骤”对数学基准题的答案几乎没有因果影响，砍掉一半，性能也几乎不受损。</p>



<p class="wp-block-paragraph">苹果公司此前那篇名为《思考的幻象》的论文更为轰动，称推理模型在难度稍高的条件下会出现“准确率完全崩塌”。Kambhampati 由此提出“近似检索”假说：模型并非真的学会了通用算法，而是靠海量推理文本的嵌入去“近似地检索”出答案，这解释了为何“胡扯”与“准确”能够并存。</p>



<h2 class="wp-block-heading">另一派：结果对，就是硬道理</h2>



<p class="wp-block-paragraph">并非所有人都认同这套“泼冷水”的说法。OpenAI 的技术研究员 Sébastien Bubeck 反驳称，那些批评论文往往基于已经过时的模型，现代模型（如 GPT-5.5 及之后版本）并不存在所谓的崩塌问题。在他看来，能稳定得出正确结果本身就是硬道理——2026年5月，OpenAI 的通用推理模型就一举给出了一道著名未解数学问题的答案。</p>



<p class="wp-block-paragraph">值得注意的是，Google DeepMind 与数学家陶哲轩在2026年的合作中，也借助AI重新发现并改进了跨越数学分析、组合、几何、数论的67个问题。能力之强，双方并无争议。</p>



<h2 class="wp-block-heading">可以用，但未必可以“信”</h2>



<p class="wp-block-paragraph">那么该如何看待这台“会答题却说不清”的机器？报道作者把它比作一台引擎：有澎湃的马力，却看不到驱动的“马腿”。在代码、数学证明这类结果可被独立验证的领域，即便过程是黑箱，也不妨放手使用；但在难以验证对错的领域，人们仍然需要模型“出于正确的理由”给出答案，才谈得上真正的信任。这场争论短期内不会有定论，但它提醒外界：一个答案是否正确，和模型是否真的在“推理”，可能是两回事。</p>



<p class="wp-block-paragraph">来源：Quanta Magazine</p>

]]></content:encoded>
					
		
		
			</item>
	</channel>
</rss>
