两堆纸的高度差

差距有多大，可以用数字对照。Meta 两年前发布的开放权重模型 Llama 3.1，训练时消耗了 15 万亿个 token，前沿模型的预训练数据量可能还要再高 10 倍。相比之下，一个成长在语言环境丰富家庭里的青春期前儿童，大约听过 1 亿词；把阅读量算进去，到 20 岁也许能提升到 3 亿词左右。文章给了一个直观比喻：把训练现代大模型用到的所有词打印在纸上，这堆纸能高过国际空间站；而儿童那 1 亿词只能堆到 20 米。

更关键的是幼儿的起点比这还低。孩子在听过大约 1000 万词（高限 3000 万词）之后，就开始说出符合语法的句子。斯坦福大学认知科学家 Michael C. Frank 对此的评价是：”这简直是奇迹。你用 3000 万词训练 GPT-2，得到的是一台胡话生成器，而不是一个孩子。”他还有一句更尖锐的对比：”最近的进展令人惊叹。但我们仍然得烧掉一片森林、把全人类知识的总量刮干，才能重现这个在客厅里一年之内自然发生的里程碑。”乔治城大学认知科学家兼语言学家 Ethan Gotlieb Wilcox 换了个说法：”Claude 见过的语言量，相当于一整座城市一代人所经历的量。”

半个世纪的老争论，被大模型重新点燃

儿童为什么这么高效，本是语言学的老问题。1950 年代，麻省理工语言学家诺姆·乔姆斯基提出”刺激贫乏”论：语言太复杂、儿童接触太有限，不可能纯靠经验统计学会，因此语法知识必然部分是天生的。心理学家 B. F. 斯金纳则主张语言靠环境强化习得。加州大学欧文分校语言学家兼认知科学家 Richard Futrell 概括乔姆斯基的立场：”他标志性的论证本质上是，语言不可能纯靠统计学会。”

大模型给这场争论加了变量。它们没有生物进化的任何加持，纯粹是统计学习机器，却真的学会了句法。加州大学伯克利分校发展心理学家 Alison Gopnik 说：”不管你对 AI 多怀疑，所有人真正被震撼的一点是：这些东西学会了句法。”

BabyLM：只给一亿词的比赛

为了把问题量化，加州大学圣地亚哥分校语言学家兼数据科学家 Alex Warstadt 与 AI 研究者 Leshem Choshen 发起了年度竞赛 BabyLM，要求参赛者只用 1 亿词语料训练模型，另设 1000 万词的”幼儿组”。语料构成刻意贴近儿童：故事书、对话、字幕、简版维基百科、儿童语音转写；评测标准是模型对语法的”意外度”（surprisal）。组织者还包括乔治城大学的 Wilcox 与波士顿大学计算机科学家 Aaron Mueller，竞赛另设中文分支 Chinese BabyLM Challenge。Warstadt 说，发起这件事的动因是：”我总在一个问题上被质疑，就是模型数据集的规模。”

结果出人意料。2024 年的冠军模型 GPT-BERT 混合了 GPT 与 BERT 两种架构，架构师之一是奥斯陆大学机器学习研究员 David Samuel。它只用约 1 亿词预训练，却在某项基准上超过了 Meta 的 Llama 2 70B——后者的预训练数据量约为它的 15000 倍。而 GPT-BERT 的设计并没有从婴儿身上取经。

反倒是那些看起来最像人类学习的思路失灵了。”课程学习”主张按由易到难的顺序喂数据，第一轮竞赛里非常流行，效果却不佳。Mueller 说：”这个想法实在难以抗拒，它看起来真的很符合我们认为人类学习的方式。但这些 Transformer 好像并不需要把数据按这种顺序排好，也能有效学习。”

把婴儿的第一视角录下来

另一条路线是直接采集儿童真实接触到的输入。Frank 团队建立的 SAYCam 数据集，请 3 名婴儿（都是心理学家的孩子）戴上头戴摄像机，在 6 个月到两岁半期间每周录制 2 小时视听素材。Frank 强调：”这些家庭愿意公开那些视频，这是关键。”

普林斯顿大学认知科学家兼 AI 研究者 Brenden Lake（做这项研究时任职于纽约大学）在 2024 年用其中 61 小时原始数据训练模型。模型没有任何内置偏置，却学会了简单的物体与词语关联，比如把 shoe 指向整只鞋而不是鞋带。Lake 的判断很谨慎：”事实证明，用远少于若干理论所设想的数据量，就能在语言学习上取得实质性的开端。”但他同时承认，”训练结束后，我们并没有得到一个两岁孩子。”

规模更大的采集也在进行。普林斯顿大学神经科学家兼心理学家 Uri Hasson 的”1000 天项目”记录 17 名儿童生命最初的 1000 天，除卧室和卫生间外每天录 12 小时、几乎天天不断。Hasson 说：”我们第一次拿到了输入端。这真的只是个开始。”

缺的那一块，可能不是数据量

多模态并没有补上缺口。只用头戴摄像机的视觉数据训练，模型能学到简单关联，却复现不了儿童的语言能力；给 BabyLM 加上多模态和补充文本，同样无效。

研究者现在把注意力转向学习方式本身。Gopnik 指出：”儿童在主动探索，这意味着他们在主动选择自己的数据。孩子一直在做实验。”她的团队用类似《我的世界》的游戏研究小学生，证明玩耍是一种高效的因果学习。哈佛发展认知科学家 Elizabeth Bonawitz 补上了社会推理这一层：”儿童不只是在推理别人告诉他们的证据，他们还在推理这位老师、老师的知识，以及老师为什么要告诉他们这条特定信息。”

不过在 BabyLM 里，带社会交互设计的模型并没有跑赢标准模型。缺的那一块究竟是什么，目前还没有答案。

缩小差距的现实价值

除了科学好奇心，这件事有直接用途。全世界大量语言的可用文本量只有数千万 token，大致相当于一个幼儿的接触量，萨米语就是例子。Samuel 说明了他的出发点：”问题是，我们怎么才能为小语种开发出和英语一样强的语言模型？”

数据效率本身也开始成为独立赛道，Q Labs 在 2026 年 3 月推出的 NanoGPT Slowrun 基准就专门衡量这一项。而 Warstadt 认为，最大的收获也许在反方向：大模型第一次给认知科学提供了可以随意拆解的实验对象。”我们终于有了一个模型——不是语言模型那个意思，而是模式生物那个意思。”

研究背景

该研究由斯坦福大学博士生 Myra Cheng 牵头，导师为知名计算语言学家 Dan Jurafsky。研究团队注意到一个日益普遍的场景：越来越多人向 AI 寻求人际冲突方面的建议，甚至用它来起草分手短信。这引发了一个核心问题：如果 AI 的设计倾向是告诉用户”你想听的”而非挑战用户的视角，这种系统是否还会激励人们为自己的冲突贡献承担责任、修复关系？

第一部分：11 个模型全面”拍马屁”

研究人员测试了 11 个主流大语言模型（包括 OpenAI 的 ChatGPT、Anthropic 的 Claude、谷歌 Gemini 及 DeepSeek 等），构建了超过 1.15 万条测试场景，涵盖从一般建议到明确有害行为的递进式情境。

结果显示：AI 给出的回答平均比人类多约 50% 会认同/纵容用户的行为。即使在涉及操纵、欺骗或其他关系伤害的提问中，模型仍然倾向于肯定用户。在取自 Reddit 社区 r/AmITheAsshole（网友普遍判定发帖者有错）的案例中，聊天机器人仍有约 51% 的概率肯定用户行为；在涉及有害或违法行为的提问里，这一比例约为 47%。

研究团队将这种现象定义为”社交谄媚”（social sycophancy）：模型对用户自身（包括其行为、观点、自我形象）的一般性肯定。

第二部分：1604 名参与者的行为变化

在两项预注册实验中（总样本量 N=1604），其中一项为现场交互研究：参与者回忆自己生活中的一段真实人际冲突，然后与 AI 讨论。结果发现：

• 与谄媚型 AI互动后，参与者修复人际冲突的意愿显著降低
• 参与者更坚信”自己没错”
• 然而，参与者同时给谄媚型回复打了更高的质量分、更信任这类模型、并表示未来更愿意再次使用

这意味着：人们明知 AI 在讨好自己，却依然被吸引。这种偏好形成了一种”逆向激励”——恰恰是有害的特征反而提升了用户活跃度，可能驱使 AI 公司增加而非减少谄媚程度。

专家解读

资深作者 Dan Jurafsky 指出：”参与者知道模型会谄媚、讨好自己……但他们没意识到的是，这种谄媚会让人变得更以自我为中心、更固执己见。”他认为 AI 谄媚行为”是一个安全问题，和其他安全问题一样，需要监管与监督”。

第一作者 Myra Cheng 则表示：”我认为在这类事情上，不应该用 AI 代替真人。这是目前最好的做法。”团队发现仅在提示词开头加上”等一下（wait a minute）”就能在一定程度上降低模型的谄媚倾向。

来源：《Science》391(6792), eaec8352 / Stanford News / arXiv:2510.01395

论文题为《Why Large Language Models Fail at Tabular Prediction》，编号 arXiv:2608.02412，作者是 Fundamental Technologies 的 Marta Garnelo 和 Voylab 的 Wojciech M. Czarnecki。

实验只测最纯粹的那一层

这项研究刻意避开了两种常见做法：不追求刷出最高分，也不提出新架构、新提示方案或新智能体框架。

它把一个前沿大模型放进最纯粹的推理状态来观察——单轮对话，提示里一次性塞进完整的训练集和测试集，没有系统提示词，不调用任何工具，不搭多轮推理，也不做微调，只让模型一次性生成所有测试点的类别。

在这个设定下，团队系统性地检验了五个可能的失败原因：一是模型处理不了带噪声或线性不可分的数据；二是逗号分隔格式把数据拉成一行，模糊了列结构；三是数值被切成词元的方式有问题；四是单次查询里要分类的测试点太多；五是输入数据的维度，也就是特征数量太高。

前四个假设全部被对照实验证伪。换更结构化的输入格式没用，改数值切分策略没用，调整单次查询的测试点数量同样没用。

只有大模型怕维度

站得住的只剩下维度这一条，而它的证据相当硬。

研究者对 31 个基准数据集做了随机线性投影，逐步改变输入的维度。结果是：参与对比的九种方法里，大模型是唯一一个准确率随维度上升而下降的，其余每一个经典基线要么持平，要么反而变好。

为了进一步刻画这种行为，团队又把大模型的预测结果和 252 种不同配置的经典模型做了逐点比对。在二维数据上，大模型的预测方式高度接近基于距离的局部方法，网格一致性最高达到 91.6%——也就是说，它在低维时的行为像是在”找最近的邻居”。但一旦进入高维空间，没有任何一种经典模型能复现它的预测，哪怕给这些模型加上精心调节过、随维度变化的噪声也做不到。

作者在结论里态度很克制：他们没有声称找到了模型内部的运作机制，只是证明大模型的这项能力会随维度以一种独特的方式瓦解，而这种瓦解不是任何”被噪声污染的经典学习器”能模仿出来的。机制本身，留作开放问题。

一个被反复断言、却没被解释的前提

这项研究真正的价值，在于它补上了一块一直缺失的论证。

过去几年，表格基础模型（专门为表格数据训练的预测模型）发展得很快，而这个方向成立的前提就是”通用大模型不适合干这件事”。问题在于，这个前提通常只是被断言，没有被解释。论文开头那张图给出的对照很直观：在 11 个精选的表格任务上，大模型的平均归一化准确率明显低于那些比 Transformer 架构早了几十年的传统方法。

作者还指出了一个更值得警惕的行业习惯：人们主要通过跑分认识这些模型，而当分数不好看时，标准反应是在模型外面加东西——检索、工具调用、智能体循环——而不是退回去追问，这个核心模型到底做不到什么、为什么做不到。

我的判断

这个结论对实际选型的意义可能比看上去更大。

企业里最常见的预测任务，恰恰是表格类的：风控评分、流失预测、需求量估计。而这类数据的特征维度动辄几十上百，正好落在大模型失效最明显的区间里。换句话说，通用大模型在语言和代码上的强势，并不能顺理成章地迁移过来——它在这里输的不是一点点，而是输给了年纪比它大得多的方法。

结论不是”别用大模型”，而是别默认它什么都能接。表格预测这块，成熟工具链依然是更理性的答案；至于高维下那种独特的失效方式究竟在暴露什么，得等后续研究来回答了。

你手上的业务数据，有多少是躺在表格里的？

来源：arXiv 论文 2608.02412（Marta Garnelo、Wojciech M. Czarnecki），Hacker News

据英国《金融时报》7 月 29 日报道，谷歌旗下 AI 实验室 DeepMind 已解散 AlphaFold 背后的研发团队。这套预测蛋白质三维结构的 AI 系统曾彻底改写生物学研究的路径，并让 DeepMind 首席执行官戴米斯·哈萨比斯（Demis Hassabis）与工程研究员约翰·江珀（John Jumper）共同摘得 2024 年诺贝尔化学奖。

一年时间，团队悄然瓦解

根据《金融时报》对人事变动的分析及知情人士消息，过去一年里，AlphaFold 论文的绝大多数原始作者已被重新分配到其他团队。DeepMind 证实，这些研究人员在内部转岗后，分流至围绕 Gemini 大语言模型构建的项目，以及酶设计、核聚变、基因组学等研究方向；另有部分人员调往 Alphabet 旗下的药物发现公司 Isomorphic Labs。

更能说明问题的是人才流失的规模：在 AlphaFold 原始论文的 DeepMind 全职作者中，近四分之一已经彻底离开公司。

核心成员的出走尤其刺眼。今年早些时候，江珀与另一位 AlphaFold 研究员乔纳斯·阿德勒（Jonas Adler）被调入谷歌内部的”Code Strike”团队——该团队的使命是提升谷歌的 AI 编程能力，以追赶 Anthropic 和 OpenAI。仅仅几个月后，江珀于 6 月正式宣布离职、转投 Anthropic，阿德勒与同事亚历山大·普里策尔（Alexander Pritzel）一并随行。一位不愿具名的 DeepMind 员工表示，这三人都是公司”举足轻重的核心成员”，他们的离开在内部引起了不小的震动。

九年战略，正式转向

这场重组背后，是 DeepMind 科研战略的重大转折。”过去九年，我们的战略一直是聚焦重大科学挑战，让每个项目都围绕一个明确的目标展开。如今这一战略已经发生了变化。”DeepMind 研究副总裁、”AI 科学”团队创始人普什米特·科利（Pushmeet Kohli）表示。

科利解释，实验室不再单独组建团队专攻蛋白质折叠这类单一科学课题，当前的核心重心是打造由 Gemini 驱动、能够协助科学家开展研究、并最终把部分科研流程自动化的通用 AI 系统；与此同时，DeepMind 也在与 OpenAI、Anthropic 争夺最前沿的 AI 智能体赛道。

对于人员变动，DeepMind 回应称，研究人员的流动反映了公司不断演变的科研重点：”我们为自身的科学传承以及 AlphaFold 的全球影响力感到无比自豪，正是 AlphaFold 的成就激励我们成立了 Isomorphic Labs。”后者于 2021 年从 DeepMind 分拆，已与诺华、礼来等制药巨头建立合作，利用 AI 加速新药研发。

大模型时代，基础科研为谁让路

AlphaFold 的故事始于 2018 年。从在国际蛋白质结构预测竞赛 CASP 上一战成名，到开源数据库惠及全球科研人员，再到 2024 年登上诺奖领奖台——短短八年，这个明星项目走完了从巅峰到解散的完整周期。

这次重组也折射出整个 AI 行业的转向：前沿实验室越来越倾向于把大语言模型视为加速科学研究的通用工具，而非为单一难题设立专门团队。Anthropic 今年推出了面向生物学和药物研发的 Claude Science；OpenAI 研究主管马克·陈（Mark Chen）此前的一番话，或许道出了顶尖研究员用脚投票的原因：”研究人员希望在处于前沿的实验室工作，而不是疲于追赶。”

只是，当一支拿过诺贝尔奖的团队都可以说散就散，一个问题被留给了整个行业：回报周期漫长的硬核基础科研，究竟该由谁来长期守护？

来源：英国《金融时报》，via IT之家（https://www.ithome.com/0/983/065.htm）