三种探测手段

Shankar 的思路很简单：模型回答问题的准确率会在知识截止日期附近出现明显下降。他设计了三类测试：

• 不可压缩知识探测：每天从维基百科挑一个发生在具体日期的事实，让模型做八选一选择题。答对的概率会在训练数据截止后快速下跌。
• 数据混合推断：观察模型如何把 token 拆分成子词，可反推训练语料的构成和 tokenizer 的来源。
• 身份自报：反复问模型「你是什么模型」，通过统计答案分布来推断它在训练时见过哪些模型的自我介绍文本。

这些方法都不需要访问模型内部权重，仅靠官方 API 就能完成。

实测结果：不同模型的「知识边界」在哪

在每日事实测试中，GPT-5.4 的有效知识截止与 OpenAI 官方公布的日期吻合较好，曲线平滑。

更值得关注的是 Claude 家族：

• Opus 4.7 及以后版本 共享一个相近的知识截止点，大约在 2025 年 12 月前后，意味着它们可能来自同一批预训练基础模型。
• Opus 5 的官方可靠截止是 2026 年 5 月，但探测显示它知道的并不比 2026 年 1 月的模型更多。即使在代码包版本等客观问题上，这个「截止」也没有带来可观测的新知识。
• GPT-5.6 家族 则有明显不同的曲线，基础检查点大约在 2026 年 2 月 完成。

作者强调，这些都是估算，真实训练细节可能与他推测的时间存在偏移。

模型也会「认错自己」

身份探测实验还揭示了一个有趣现象：Anthropic 的 Sonnet 5 有时会说自己是 GPT-4。研究者认为，这可能是因为 Claude 的训练数据混入了大量用户与 ChatGPT 的对话记录。OpenAI 的模型则几乎从不自称 Claude。

一个后续实验更夸张：当要求 Claude「像 GPT-4 那样回答身份问题时」，它能复刻 OpenAI 模型的典型偏差，准确率接近七成；而 GPT 模型反过来模仿 Claude 时，准确率只有个位数。这从侧面说明两家模型的训练语料中都含有对方用户会话的痕迹，只是比例和表达方式不同。

对普通用户意味着什么

对开发者来说，这些探测方法提供了一种可复现的方式，来判断某个模型是否「知道」最近三个月的新库、新 API 或新事件。对普通用户来说，这也解释了为什么同一个问题在不同模型上会得到不同答案：它们接受的事实截止日期、语料配比甚至训练会话来源都不一样。

当然，Shankar 也提醒，所有结论都是基于有限探测得出的估计，真正的训练时间线只有实验室内部掌握。

来源：Hacker News / Shrivu Shankar’s Substack