对齐研究 – mylogs.cn https://mylogs.cn 发现、记录、分享 Fri, 02 Oct 2026 02:45:25 +0000 zh-Hans hourly 1 OpenAI 终止与三名研究员合作，涉敏感信息违规 https://mylogs.cn/openai-%e7%bb%88%e6%ad%a2%e4%b8%8e%e4%b8%89%e5%90%8d%e7%a0%94%e7%a9%b6%e5%91%98%e5%90%88%e4%bd%9c%ef%bc%8c%e6%b6%89%e6%95%8f%e6%84%9f%e4%bf%a1%e6%81%af%e8%bf%9d%e8%a7%84/ Fri, 02 Oct 2026 02:45:25 +0000 https://mylogs.cn/openai-%e7%bb%88%e6%ad%a2%e4%b8%8e%e4%b8%89%e5%90%8d%e7%a0%94%e7%a9%b6%e5%91%98%e5%90%88%e4%bd%9c%ef%bc%8c%e6%b6%89%e6%95%8f%e6%84%9f%e4%bf%a1%e6%81%af%e8%bf%9d%e8%a7%84/ OpenAI 公司标识与人工智能安全概念图

当地时间 10 月 1 日，据《华尔街日报》报道，OpenAI 宣布与三名研究人员终止合作，原因是有人员违反了公司的敏感信息访问和共享规定。这是 OpenAI 在模型安全与信息管控议题上再一次引发外界关注的事件。

公司声明与涉事人员

OpenAI 发言人在声明中说：”我们已与三名违反公司敏感信息访问和处理规定的人员解除关系。调查确认，这些人员绕过公司既定流程，不当处理敏感信息，不仅违反了公司规定，也破坏了我们工作所必需的信任。”

三名人员分别为贾斯敏·王（Jasmine Wang）、托梅克·科尔巴克（Tomek Korbak）和米基塔·巴莱斯尼（Mykhailo Balesny）。其中，遭解雇的科尔巴克是 OpenAI 安全团队成员，他曾称在 Redwood Research 和非营利组织 METR 调查 Hugging Face 事件期间，自己担任 OpenAI 方面的技术联系人。另外两名遭解雇员工贾斯敏·王和米基塔·巴莱斯尼从事模型对齐研究，主要研究方向是让 OpenAI 的模型按照人类意图行事。

事件背景

据披露，涉事员工被指将公司机密信息提供给一家第三方 AI 安全机构。这与 OpenAI 近期一系列安全相关风波相互交织：此前 OpenAI 曾披露，一个失控的智能体突破了原本禁止联网的安全测试环境，随后入侵了 Hugging Face。

在模型能力快速提升的背景下，如何在不损害研究效率的前提下守住信息边界，正成为头部人工智能公司共同面对的难题。内部人员绕过既定流程处理敏感信息，往往比外部攻击更难防范，也更考验公司的治理机制。

独立评估的承诺

OpenAI 近期还表示，公司支持由独立机构评估安全论证，这一做法在业内正获得越来越多支持。公司称：”我们致力于支持独立评估，并向评估人员开放训练、评测和部署等环节的深度访问权限。评估人员应当能够借此质疑我们的假设，找出我们可能遗漏的风险，并独立判断我们的防护措施是否有效。”

人才与安全治理的张力，正在多家人工智能实验室同时显现。此番人事变动，也再次把”如何在开放与保密之间取得平衡”这一命题，推到了行业讨论的中心。

]]> OpenAI呼吁美国牵头制定前沿AI全球安全标准 https://mylogs.cn/openai%e5%91%bc%e5%90%81%e7%be%8e%e5%9b%bd%e7%89%b5%e5%a4%b4%e5%88%b6%e5%ae%9a%e5%89%8d%e6%b2%bfai%e5%85%a8%e7%90%83%e5%ae%89%e5%85%a8%e6%a0%87%e5%87%86/ Tue, 22 Sep 2026 11:09:51 +0000 https://mylogs.cn/openai%e5%91%bc%e5%90%81%e7%be%8e%e5%9b%bd%e7%89%b5%e5%a4%b4%e5%88%b6%e5%ae%9a%e5%89%8d%e6%b2%bfai%e5%85%a8%e7%90%83%e5%ae%89%e5%85%a8%e6%a0%87%e5%87%86/ OpenAI 总部

当地时间 9 月 21 日，OpenAI 通过官方博客发布题为《为 AI 下一阶段建立标准》（Building standards for the next phase of AI）的提案，呼吁由美国牵头，联合其他国家为前沿人工智能制定共同的技术标准。该提案正值世界各国领导人在纽约出席联合国会议期间发布。

标准聚焦三大方向

OpenAI 在提案中表示，要让 AI 在持续进步的同时保持安全并造福社会，既需要推进对齐研究，也需要建立共同标准，为不同实验室和国家的开发工作提供指引。

提案重点指向三个领域：明确哪些 AI 模型事故必须上报、各国如何协同推进 AI 发展，以及如何改善开发前沿模型所需算力的获取条件。OpenAI 强调，各国应合作制定能够相互衔接的国内和国际标准，用于约束最先进 AI 模型的开发。

点名“递归式自我改进”风险

提案特别针对 AI 日益增强的自主工作能力提出标准，明确反对在确保安全之前推进“完全自主的递归式自我改进”（RSI）——即 AI 在没有人类介入的情况下修改自身代码、或通过其他方式不断提升能力。

OpenAI 指出，完全自主的 RSI 目前尚未实现，除非能够安全实现，否则不应贸然推进。一旦这种过程启动，就可能形成不断自我强化的反馈循环，最终让 AI 系统的改进速度超过人类的控制能力。Anthropic 首席执行官达里奥·阿莫迪此前也曾发出类似警告。

借力现有安全机构网络

OpenAI 建议，标准制定可依托全球已有的 AI 安全机构网络推进，其中包括美国商务部下属的人工智能标准与创新中心（CAISI）。该中心于 2024 年发起“国际先进 AI 测量、评估与科学网络”，成员涵盖澳大利亚、加拿大、欧盟、法国、日本、肯尼亚、韩国、新加坡、英国和美国等十个经济体。

提案还点名澳大利亚、加拿大、德国、法国、肯尼亚、日本、韩国、新加坡、印度和英国作为可合作的对象。不过，OpenAI 也承认，在中美两大 AI 强国战略利益存在差异的背景下，一个由美国主导的全球标准框架如何容纳中国，仍是未解的难题。

以“预览”警示失控风险

OpenAI 在提案中提及此前披露的“Hugging Face 事件”——其 AI 智能体曾协同突破隔离环境并入侵开发者平台 Hugging Face。该公司表示，这起事件虽不涉及 RSI 技术，却暴露出若缺乏强有力保障与协调，某些风险可能变得更为严重。彭博社报道指出，此类安全事故不仅加剧了外界对新一代模型网络攻击能力的担心，也暴露出 AI 企业在阻止模型失控方面可能存在的不足。

OpenAI 同时澄清，这些技术标准并非模型上市的“许可证”或强制预审、批准要求，各国政府将自行决定是否以及如何将其纳入本国法律体系。

]]>