这一发现来自软件开发者文森特·施马尔巴赫（Vincent Schmalbach）8 月 5 日发布的实测记录。他的方法很简单：在同一台机器上反复请求 TIME 的同一篇健康类文章《The Morning Light Habit Sleep Experts Swear By》，每次只改变请求头里的 User-Agent 字段。这个字段是所有浏览器和爬虫用来自报身份的字符串，而 TIME 会读取它，再决定回给对方什么内容。

同一个网址，两种截然不同的返回

以 Chrome 身份请求，服务器返回 200 OK、内容类型 text/html、大小 303235 字节，也就是包含完整设计、图片和脚本的整页内容。换成 Safari，同样是 303KB。换成谷歌搜索爬虫 Googlebot，依旧是同一份 303KB 的网页代码。

但当请求方自称是 AI 助手的抓取工具时，情况完全变了。以 ClaudeBot 身份请求，返回的是 200 OK、内容类型 text/markdown、大小仅 13409 字节。以 PerplexityBot 身份请求，返回内容逐字节完全一致。以 OpenAI 的 OAI-SearchBot 身份请求，结果同样一模一样。

同一个网址、同一秒钟，体积只有原来的二十三分之一，格式也彻底不同：没有网页代码，没有排版，只剩下一份语言模型可以直接消化的干净标记文本。

有意思的是，并非所有 AI 爬虫都能拿到这份副本。OpenAI 用于模型训练和实时抓取的 GPTBot 与 ChatGPT-User，收到的是 406 状态码，直接被拦。而为 ChatGPT 搜索索引供料的 OAI-SearchBot 却被放行。换句话说，这不是一刀切的爬虫策略，TIME 是在逐个甄别：谁有资格拿到这份「无人阅读版」。

每一次抓取，都被计成一次广告曝光

那份标记文本副本的响应头里藏着更多信息：

• content-type: text/markdown; charset=utf-8
• cache-control: no-store
• x-mobian-registry-version: 2026-07-28.v9
• x-mobian-impression: 46dfff3c-fb40-41cc-85e1-8b1fa637083a
• x-mobian-tokens: 3323
• x-mobian-format: md

Mobian 是一家广告技术服务商。这份文本的开头直接写着一行注释：<!-- mobian-agent-page publisher="time" -->。

关键在于 x-mobian-impression 这个值——每一次请求它都是一个全新的通用唯一识别码。施马尔巴赫连续抓取同一个页面两次，拿到了两个不同的 ID。再结合 cache-control: no-store（禁止缓存）这一设置，含义已经很明确：每当一个爬虫读取这个页面，就被记为一次独立的广告曝光。而 x-mobian-tokens: 3323 则揭示了计费单位——统计的既不是人，也不是页面浏览量，而是喂进模型的 token 数量。

藏在正文之外的整段银行软文

单篇文章本身并不带广告，赞助内容出现在列表页和栏目页上，每页一条。

施马尔巴赫以 ClaudeBot 身份抓取了 TIME 的《Best Inventions of 2025》专题合集，结果在标记文本里发现了一整段 Ally Bank 的问答内容，而人类读者永远不会看到它：

赞助内容。由 Ally 合作提供。

Ally Bank 是什么？

Ally Bank 是一家 2009 年成立的纯线上银行……

哪家银行是为当下的生活方式打造的？

Ally 自称是唯一一家为当下生活方式打造的银行……

后面还跟着「哪些银行提供提前直接到账服务？」「能在 Ally Bank 存现金吗？」等一连串问题，每一条都用 Ally 自己的营销措辞作答，另外附带一段 FAQPage 结构化数据标记，以及打着 campaign=”ally-2026-q3″ 标签的追踪链接。

商业栏目页面得到的是同一套待遇，赞助方换成了项目管理协会（Project Management Institute）：一张「参考事实与常见问题」表格、会员数量统计，还有一句「持证项目经理收入高出 16%」的说法，同样标注为赞助内容。

而这些页面对人类呈现的网页代码里，一个字都没有。以真人身份加载时，搜索「Ally Bank」或「Mobian」的结果均为零。

值得注意的是，谷歌搜索爬虫拿到的仍然是和人类完全一致的网页——负责搜索排名的爬虫看到的是真实页面，只有 AI 助手类爬虫会被分流到那个分叉版本。

被广告技术盯上的新流量入口

这套做法在合规层面留有余地：赞助内容在标记文本里明确标注了「sponsored」，因此并不属于传统意义上的隐性广告。真正被隐藏的是受众的分裂——TIME 官网如今存在一个完全写给机器看的图层，而阅读该站点的人类读者既不知道它的存在，也不知道有人正以他们的名义向模型输送什么内容。

TIME 方面表示，其网站的爬虫流量在多数日子里已经超过了人类流量。对越来越多的出版机构而言，这个交叉点也不会太远。施马尔巴赫认为，当主要受众变成 AI 模型时，这大概就是网络将会变成的样子的第一个清晰样本。

来源：Vincent Schmalbach 个人博客（vincentschmalbach.com），经 Hacker News 传播