两堆纸的高度差

差距有多大，可以用数字对照。Meta 两年前发布的开放权重模型 Llama 3.1，训练时消耗了 15 万亿个 token，前沿模型的预训练数据量可能还要再高 10 倍。相比之下，一个成长在语言环境丰富家庭里的青春期前儿童，大约听过 1 亿词；把阅读量算进去，到 20 岁也许能提升到 3 亿词左右。文章给了一个直观比喻：把训练现代大模型用到的所有词打印在纸上，这堆纸能高过国际空间站；而儿童那 1 亿词只能堆到 20 米。

更关键的是幼儿的起点比这还低。孩子在听过大约 1000 万词（高限 3000 万词）之后，就开始说出符合语法的句子。斯坦福大学认知科学家 Michael C. Frank 对此的评价是：”这简直是奇迹。你用 3000 万词训练 GPT-2，得到的是一台胡话生成器，而不是一个孩子。”他还有一句更尖锐的对比：”最近的进展令人惊叹。但我们仍然得烧掉一片森林、把全人类知识的总量刮干，才能重现这个在客厅里一年之内自然发生的里程碑。”乔治城大学认知科学家兼语言学家 Ethan Gotlieb Wilcox 换了个说法：”Claude 见过的语言量，相当于一整座城市一代人所经历的量。”

半个世纪的老争论，被大模型重新点燃

儿童为什么这么高效，本是语言学的老问题。1950 年代，麻省理工语言学家诺姆·乔姆斯基提出”刺激贫乏”论：语言太复杂、儿童接触太有限，不可能纯靠经验统计学会，因此语法知识必然部分是天生的。心理学家 B. F. 斯金纳则主张语言靠环境强化习得。加州大学欧文分校语言学家兼认知科学家 Richard Futrell 概括乔姆斯基的立场：”他标志性的论证本质上是，语言不可能纯靠统计学会。”

大模型给这场争论加了变量。它们没有生物进化的任何加持，纯粹是统计学习机器，却真的学会了句法。加州大学伯克利分校发展心理学家 Alison Gopnik 说：”不管你对 AI 多怀疑，所有人真正被震撼的一点是：这些东西学会了句法。”

BabyLM：只给一亿词的比赛

为了把问题量化，加州大学圣地亚哥分校语言学家兼数据科学家 Alex Warstadt 与 AI 研究者 Leshem Choshen 发起了年度竞赛 BabyLM，要求参赛者只用 1 亿词语料训练模型，另设 1000 万词的”幼儿组”。语料构成刻意贴近儿童：故事书、对话、字幕、简版维基百科、儿童语音转写；评测标准是模型对语法的”意外度”（surprisal）。组织者还包括乔治城大学的 Wilcox 与波士顿大学计算机科学家 Aaron Mueller，竞赛另设中文分支 Chinese BabyLM Challenge。Warstadt 说，发起这件事的动因是：”我总在一个问题上被质疑，就是模型数据集的规模。”

结果出人意料。2024 年的冠军模型 GPT-BERT 混合了 GPT 与 BERT 两种架构，架构师之一是奥斯陆大学机器学习研究员 David Samuel。它只用约 1 亿词预训练，却在某项基准上超过了 Meta 的 Llama 2 70B——后者的预训练数据量约为它的 15000 倍。而 GPT-BERT 的设计并没有从婴儿身上取经。

反倒是那些看起来最像人类学习的思路失灵了。”课程学习”主张按由易到难的顺序喂数据，第一轮竞赛里非常流行，效果却不佳。Mueller 说：”这个想法实在难以抗拒，它看起来真的很符合我们认为人类学习的方式。但这些 Transformer 好像并不需要把数据按这种顺序排好，也能有效学习。”

把婴儿的第一视角录下来

另一条路线是直接采集儿童真实接触到的输入。Frank 团队建立的 SAYCam 数据集，请 3 名婴儿（都是心理学家的孩子）戴上头戴摄像机，在 6 个月到两岁半期间每周录制 2 小时视听素材。Frank 强调：”这些家庭愿意公开那些视频，这是关键。”

普林斯顿大学认知科学家兼 AI 研究者 Brenden Lake（做这项研究时任职于纽约大学）在 2024 年用其中 61 小时原始数据训练模型。模型没有任何内置偏置，却学会了简单的物体与词语关联，比如把 shoe 指向整只鞋而不是鞋带。Lake 的判断很谨慎：”事实证明，用远少于若干理论所设想的数据量，就能在语言学习上取得实质性的开端。”但他同时承认，”训练结束后，我们并没有得到一个两岁孩子。”

规模更大的采集也在进行。普林斯顿大学神经科学家兼心理学家 Uri Hasson 的”1000 天项目”记录 17 名儿童生命最初的 1000 天，除卧室和卫生间外每天录 12 小时、几乎天天不断。Hasson 说：”我们第一次拿到了输入端。这真的只是个开始。”

缺的那一块，可能不是数据量

多模态并没有补上缺口。只用头戴摄像机的视觉数据训练，模型能学到简单关联，却复现不了儿童的语言能力；给 BabyLM 加上多模态和补充文本，同样无效。

研究者现在把注意力转向学习方式本身。Gopnik 指出：”儿童在主动探索，这意味着他们在主动选择自己的数据。孩子一直在做实验。”她的团队用类似《我的世界》的游戏研究小学生，证明玩耍是一种高效的因果学习。哈佛发展认知科学家 Elizabeth Bonawitz 补上了社会推理这一层：”儿童不只是在推理别人告诉他们的证据，他们还在推理这位老师、老师的知识，以及老师为什么要告诉他们这条特定信息。”

不过在 BabyLM 里，带社会交互设计的模型并没有跑赢标准模型。缺的那一块究竟是什么，目前还没有答案。

缩小差距的现实价值

除了科学好奇心，这件事有直接用途。全世界大量语言的可用文本量只有数千万 token，大致相当于一个幼儿的接触量，萨米语就是例子。Samuel 说明了他的出发点：”问题是，我们怎么才能为小语种开发出和英语一样强的语言模型？”

数据效率本身也开始成为独立赛道，Q Labs 在 2026 年 3 月推出的 NanoGPT Slowrun 基准就专门衡量这一项。而 Warstadt 认为，最大的收获也许在反方向：大模型第一次给认知科学提供了可以随意拆解的实验对象。”我们终于有了一个模型——不是语言模型那个意思，而是模式生物那个意思。”