现代大语言模型几乎是在「什么都学」的海量语料上训练的，因此外界很难判断：模型表现出的某项能力，究竟是真正「学会」了，还是只是被提示词「唤醒」了既有的知识。一个名为 LittleLearner 的研究项目换了一种思路——直接把训练数据本身限定住。

研究团队从 FineWeb-Edu 语料出发，经过五道过滤管线，提炼出一份 880 亿 token 的「小学课程库」（LittleCurriculum），严格对齐美国 Common Core 课程标准（幼儿园至五年级，即 K–5）。所有五年级以上才会涉及的概念、事实和词汇，都被明确排除在外。

只上过小学的模型

基于这份语料，团队从零训练了三个规格的模型，参数量分别为 6 亿、13 亿和 50 亿，并为每一个都配备了一个使用未过滤语料训练的「对照组」，以便做干净的比较。

实验得出了清晰的结论，可以概括为「唤醒，而非习得」：无论是扩大模型规模、做 SFT 加 GRPO 的后期训练，还是在上下文里给示例（in-context learning），都只能放大课程库里已经教过的内容，却无法真正提升课程范围之外（五年级以上）的能力。换句话说，预训练阶段的数据过滤器，设定了模型能力的实际上限。

规模、后期训练、上下文学习都救不了

具体来看，扩大模型参数量，确实能提升课程范围内的表现，也能小幅延伸到同一学习轨迹上的问题，但对需要更高阶能力的问题几乎毫无帮助。用 GRPO 把模型训练成数学专精后，K–5 范围内的数学能力显著增强，可即便喂入课程之外的数据，五年级以上的能力缺口依然补不回来。在团队测试的提示条件下，上下文学习也没能为 50 亿参数的 LittleLearner 解锁新的推理能力。

为什么这个边界有价值

正因为训练范围被明确定义，研究者才能把模型行为的变化，直接对应到「教了什么」上。他们提出了三个方向：用强化学习检验「能力能否被奖励驱动出来」；观察引入负数等新概念时的学习效率与遗忘；以及把机器和人类儿童放在相同暴露条件下做对比，看两者学分数、解应用题时是否犯类似的错。

这项由 Fanfei Li、Wieland Brendel 等人完成的工作（arXiv:2608.13545，2026）提示了一个朴素的道理：当我们在讨论一个大模型「懂不懂」某件事时，答案很可能早在它出生的那一刻，就被训练数据写好了。

来源：LittleLearner 项目团队（arXiv:2608.13545）