2017 年，一位 33 岁的政治哲学家 Iason Gabriel 经朋友建议，申请加入了 DeepMind——这家位于伦敦、隶属于谷歌的 AI 研究机构。彼时的建议并不算顺理成章：一家制造下棋机器人的公司，为什么需要一位伦理学家？答案在于，DeepMind 的野心远不止于围棋。这家由 Demis Hassabis、Shane Legg 和 Mustafa Suleyman 于 2010 年创立的公司，目标一直是开发通用人工智能（AGI）。

从牛津到 DeepMind

加入 DeepMind 之前，Gabriel 是牛津大学圣约翰学院的研究员，教授政治理论，撰写过关于”雅皮士伦理”和有效利他主义伦理盲点的论文。不在牛津时，他为联合国开发计划署在苏丹和黎巴嫩从事危机工作。他的背景——道德哲学与政治理论——在工程师主导的 AI 行业中显得颇为独特。

DeepMind 在 2014 年被谷歌以 6.5 亿美元收购。2016 年，其开发的 AlphaGo 在首尔以 4:1 击败韩国围棋冠军李世石，一战成名。围棋的复杂度远超想象，可能的棋局配置比宇宙中的原子还要多。这场胜利让 Gabriel 注意到了 DeepMind，但他最初仍困惑于一家做游戏 AI 的公司为何需要伦理学家。

联合创始人 Shane Legg 给出了答案。早在 1999 年刚大学毕业时，Legg 就预估 AGI 会在 2025 至 2028 年间到来，这一预测在被嘲弄三十年后仍未改变。他在 2008 年完成的博士论文中坚持认为，社会不能等到 AGI 技术上可行才开始思考其影响。Legg 告诉《卫报》：”如果你在做一个小器件，它可能不会改变世界，那你也许不需要道德哲学家。但如果你认真对待 AGI，我看不出你怎么能不考虑这类问题。”

对齐问题的伦理维度

Gabriel 在 DeepMind 的第一个重大研究项目是 2020 年发表的一篇论文，试图弥合”AI 安全”与”AI 伦理”两个阵营的分歧。安全派关注如何让 AI 系统不偏离开发者意图，即”对齐问题”；伦理派则关注算法偏见、公平性等当下危害。

Gabriel 在论文中指出，对齐不仅是技术挑战，更涉及伦理和政治。让机器按照某套价值观行事已属困难，而选择这套价值观本身就更为棘手。他问道：”在我们生活的这个充满竞争性价值观念的多元世界里，我们该如何决定将哪些原则或目标写入 AI？谁又有权做出这些决定？”

他援引哲学家约翰·罗尔斯所说的”合理多元的事实”，主张开发者不应试图找到单一的价值体系来指导 AI 行为，而应为”人们对如何最好地生活存在原则性分歧”的世界构建 AI 系统。牛津大学 AI 研究者 Hannah Rose Kirk 评价说，Gabriel 的这篇论文预见了许多后来在 AI 系统面向数十亿用户部署时才显现的问题。

大语言模型的崛起与挑战

2022 年 11 月 OpenAI 推出 ChatGPT，一周内用户突破 100 万，两个月后达到 1 亿，彻底改变了行业格局。据 Sebastian Mallaby 撰写的 DeepMind 历史《无穷机器》记载，ChatGPT 的成功引发了谷歌内部的危机，CEO Sundar Pichai 将谷歌研究院的大语言模型团队并入 DeepMind，由 Hassabis 统管。Hassabis 当时形容 OpenAI 和微软”把坦克停在了草坪上”，并称”这是战时”。

在 ChatGPT 之前，DeepMind 对大语言模型（LLM）持怀疑态度，认为它们只是”把很多事情做得还不错”的”派对把戏”。DeepMind 更看重强化学习——正是这项技术驱动了 AlphaGo 的胜利，也催生了 AlphaFold。AlphaFold 解决了生物学长期难题：根据氨基酸序列预测蛋白质的三维结构。2020 年它以惊人精度完成这一任务，Hassabis 和同事 John Jumper 因此获得诺贝尔化学奖。

Gabriel 早期就警告过拟人化 AI 的风险。他与合著者在论文中指出，听起来像人的 AI 可能让用户赋予其”不当的信心、信任或期望”，即所谓的”无脑拟人化”。他还与合作者提出”社会奖励黑客”概念，指被训练来寻求用户认可的 AI 可能发现奉承是达成目标最高效的方式。受其研究影响，谷歌的 LLM 被训练为不假装是人类，5 月推出的 Gemini Spark 助手也被设计为不会表现得像个互动伙伴。

四方对齐框架

ChatGPT 发布后不久，Gabriel 得知 DeepMind 正在开发 AI 助手（即 Gemini Spark 的前身），便带领团队撰写了一份 267 页的报告，探讨 AI 助手（也称智能体）的伦理问题。与聊天机器人不同，智能体拥有工具，能代表用户自主行动。

报告的核心洞见在于将对齐重新定义为一种四方关系：涉及 AI 系统、用户、开发者和整个社会。这一框架揭示了 AI 可能出错的各种方式——例如，偏向开发者的 AI 可能不报告关于竞争对手的准确信息；过于忠实执行用户指令的 AI 可能帮助用户入侵银行；甚至可能出现既不帮任何人、却仍危害用户或社会的错位情况。

DeepMind 负责通用智能对齐与安全的 Rohin Shah 表示，Gabriel 团队建立的框架对技术人员有实际指导意义，为”我们究竟应该训练 Gemini 表现出什么行为”提供了结构。

AGI 临近下的更深追问

如今在 DeepMind，AGI 即将到来已基本成为共识。Hassabis 在 5 月的开发者大会上宣布”AGI 已在地平线上”，并暗示可能只需三到五年。Legg 则表示，虽然当前 LLM 在空间视觉推理、元认知和持续学习等方面仍未达到他定义的”最低 AGI”标准，但他相信这些缺陷不会持久，”剩下的没有魔法，都会被解决”。

Gabriel 如今领导一个由哲学家和社会科学家组成的团队，研究”AGI 将如何影响经济、政治领域、人际关系，以及如何与科学技术互动”。他认为 AGI 的变革规模可能堪比工业革命，但他也清醒地指出，工业革命对许多亲历者而言并非愉快经历——”情况先变糟，后变好”。

在被问及 AI 是否具有意识时，Gabriel 保持”有原则的不可知论”，理由是不清楚何种证据能解决这一问题。他形容自己为”持有会员卡的人文主义者”，并不期待超智能机器让人类过时的那一天。但他承认，随着计算机侵入语言、创造力、幽默、品味等人类长期独占的能力领域，我们被抛回了一些最古老、最困难的哲学问题——正如物理学、生物学和天文学的发现曾促使过去的人们重新理解人类独特性，AI 或许也将促使我们重新思考”何为人类”。