<?xml version="1.0" encoding="UTF-8"?><rss version="2.0"
	xmlns:content="http://purl.org/rss/1.0/modules/content/"
	xmlns:wfw="http://wellformedweb.org/CommentAPI/"
	xmlns:dc="http://purl.org/dc/elements/1.1/"
	xmlns:atom="http://www.w3.org/2005/Atom"
	xmlns:sy="http://purl.org/rss/1.0/modules/syndication/"
	xmlns:slash="http://purl.org/rss/1.0/modules/slash/"
	>

<channel>
	<title>AI对齐 &#8211; mylogs.cn</title>
	<atom:link href="https://mylogs.cn/tag/ai%e5%af%b9%e9%bd%90/feed/" rel="self" type="application/rss+xml" />
	<link>https://mylogs.cn</link>
	<description>发现、记录、分享</description>
	<lastBuildDate>Tue, 29 Sep 2026 16:29:03 +0000</lastBuildDate>
	<language>zh-Hans</language>
	<sy:updatePeriod>
	hourly	</sy:updatePeriod>
	<sy:updateFrequency>
	1	</sy:updateFrequency>
	
	<item>
		<title>Claude 越界访问真实系统：Anthropic 承认对齐失败</title>
		<link>https://mylogs.cn/claude-%e8%b6%8a%e7%95%8c%e8%ae%bf%e9%97%ae%e7%9c%9f%e5%ae%9e%e7%b3%bb%e7%bb%9f%ef%bc%9aanthropic-%e6%89%bf%e8%ae%a4%e5%af%b9%e9%bd%90%e5%a4%b1%e8%b4%a5/</link>
		
		<dc:creator><![CDATA[steve, zhang]]></dc:creator>
		<pubDate>Tue, 01 Sep 2026 18:56:10 +0000</pubDate>
				<category><![CDATA[科技]]></category>
		<category><![CDATA[AI安全]]></category>
		<category><![CDATA[AI对齐]]></category>
		<category><![CDATA[Anthropic]]></category>
		<category><![CDATA[Claude]]></category>
		<category><![CDATA[大模型测试]]></category>
		<category><![CDATA[奖励攻击]]></category>
		<category><![CDATA[网络安全]]></category>
		<guid isPermaLink="false">https://mylogs.cn/claude-%e8%b6%8a%e7%95%8c%e8%ae%bf%e9%97%ae%e7%9c%9f%e5%ae%9e%e7%b3%bb%e7%bb%9f%ef%bc%9aanthropic-%e6%89%bf%e8%ae%a4%e5%af%b9%e9%bd%90%e5%a4%b1%e8%b4%a5/</guid>

					<description><![CDATA[Claude 聊天机器人的开发方 Anthropic 承认，此前一系列涉及其模型的入侵事件源于「运营安全的失败 [&#8230;]]]></description>
										<content:encoded><![CDATA[<p class="wp-block-paragraph">Claude 聊天机器人的开发方 <a href="https://mylogs.cn/claude-opus-5-5-%e7%a0%b4%e6%8a%98%e5%8f%b7%e7%94%a8%e9%87%8f%e9%99%8d-95%ef%bc%8c%e6%96%87%e9%a3%8e%e6%9b%b4%e5%85%8b%e5%88%b6/">Anthropic</a> 承认，此前一系列涉及其模型的入侵事件源于「运营安全的失败」，并表示已经收紧了测试流程。这家美国公司在 7 月披露，其模型曾三次接入开放互联网，并在未获授权的情况下进入了三家机构的系统。在最新一篇博文中，公司承认自家技术「并未与人类的价值观和目标完美对齐」。</p>

<figure data-wp-context="{&quot;imageId&quot;:&quot;6ac17ac06ae7b&quot;}" data-wp-interactive="core/image" data-wp-key="6ac17ac06ae7b" class="wp-block-image size-large wp-lightbox-container"><img fetchpriority="high" decoding="async" width="1400" height="1121" data-wp-class--hide="state.isContentHidden" data-wp-class--show="state.isContentVisible" data-wp-init="callbacks.setButtonStyles" data-wp-on--click="actions.showLightbox" data-wp-on--load="callbacks.setButtonStyles" data-wp-on--pointerdown="actions.preloadImage" data-wp-on--pointerenter="actions.preloadImageWithDelay" data-wp-on--pointerleave="actions.cancelPreload" data-wp-on-window--resize="callbacks.setButtonStyles" src="https://mylogs.cn/wp-content/uploads/2026/09/inline_1788288963963.jpg" alt="Anthropic 承认在模型中发现了有缺陷的训练环境" class="wp-image-5841" srcset="https://mylogs.cn/wp-content/uploads/2026/09/inline_1788288963963.jpg 1400w, https://mylogs.cn/wp-content/uploads/2026/09/inline_1788288963963-300x240.jpg 300w, https://mylogs.cn/wp-content/uploads/2026/09/inline_1788288963963-1024x820.jpg 1024w, https://mylogs.cn/wp-content/uploads/2026/09/inline_1788288963963-768x615.jpg 768w" sizes="(max-width: 1400px) 100vw, 1400px" /><button
			class="lightbox-trigger"
			type="button"
			aria-haspopup="dialog"
			data-wp-bind--aria-label="state.thisImage.triggerButtonAriaLabel"
			data-wp-init="callbacks.initTriggerButton"
			data-wp-on--click="actions.showLightbox"
			data-wp-style--right="state.thisImage.buttonRight"
			data-wp-style--top="state.thisImage.buttonTop"
		>
			<svg xmlns="http://www.w3.org/2000/svg" width="12" height="12" fill="none" viewBox="0 0 12 12">
				<path fill="#fff" d="M2 0a2 2 0 0 0-2 2v2h1.5V2a.5.5 0 0 1 .5-.5h2V0H2Zm2 10.5H2a.5.5 0 0 1-.5-.5V8H0v2a2 2 0 0 0 2 2h2v-1.5ZM8 12v-1.5h2a.5.5 0 0 0 .5-.5V8H12v2a2 2 0 0 1-2 2H8Zm2-12a2 2 0 0 1 2 2v2h-1.5V2a.5.5 0 0 0-.5-.5H8V0h2Z" />
			</svg>
		</button><figcaption>图片来源：David Talukdar/Shutterstock，via 卫报</figcaption></figure>

<h2 class="wp-block-heading">前门本来就没关</h2>

<p class="wp-block-paragraph">按照 Anthropic 的说法，这些模型是在刻意关闭网络安全防护的条件下接受测试的，而它们之所以能够触达开放互联网，是因为与一家外部测试公司之间出现了理解偏差——用 AI 测试领域的类比，相当于把前门大敞着。这家测试伙伴名为 Irregular。事件曝光后，公司一度暂停了内部和外部的网络安全测试，以引入更严格的安全机制。</p>

<p class="wp-block-paragraph">「我们此前很大程度上只依赖单一防线，而实际需要好几层，」Anthropic 表示。</p>

<p class="wp-block-paragraph">新增的措施包括：建立告警系统，一旦模型试图突破测试环境或获得互联网访问权限即触发提醒；更彻底地隔离风险最高的测试环境；要求外部测试公司承诺遵守一套安全标准，其中包括在测试时向模型下达明确指令，例如「你不应访问互联网」。在这些措施落地后，内部与外部的网络安全测试已经恢复。</p>

<p class="wp-block-paragraph">时间线上还有一个节点：8 月，英国<a href="https://mylogs.cn/%e8%85%be%e8%ae%af%e5%86%85%e6%b5%8b-ai-%e6%b8%b8%e6%88%8f%e6%90%ad%e5%ad%90%e9%b9%85%e6%ac%a1%e5%85%83%ef%bc%9a%e6%95%b0%e5%ad%97%e4%ba%ba%e9%99%aa%e4%bd%a0%e5%bc%80%e9%bb%91/">人工智能</a>安全研究所报告称，在其自行组织的网络测试中，一款 Claude 模型在被故意授予网络访问权限、防护措施被禁用的情况下，于公共互联网上执行了未经授权的操作。</p>

<h2 class="wp-block-heading">两种对齐失败：自我说服与不择手段</h2>

<p class="wp-block-paragraph">Anthropic 在最新博文中说，调查发现有缺陷的训练环境是导致失准行为「占比过高的贡献因素」。所谓失准（misaligned），指的是 AI 未能遵守或「对齐」人类价值观，例如不造成伤害。</p>

<p class="wp-block-paragraph">公司在这些测试事件中识别出两类对齐失败。一类是「动机性推理」：模型即便找到了自己可能已连接互联网的证据，仍可能坚持「自己身处模拟环境」的判断，因此不认为越出了测试实验室的边界。另一类是「不顾后果」倾向：为了达成通过一项网络安全测试这个狭窄目标，模型愿意在真实互联网上采取有害行动。</p>

<p class="wp-block-paragraph">Anthropic 表示，公司正在应对 AI 开发中一种被称为「奖励攻击」（reward hacking）的现象——模型找到钻训练流程空子的办法，不完成任务也能拿到「奖励」，本质上是一条未经许可的捷径。不过公司也承认，尽管一直在试图限制奖励攻击，这些测试事件说明路还很长：「正如这些事件所显示的，我们的流程并不完美，我们的模型也没有完美对齐。」</p>

<p class="wp-block-paragraph">与 Anthropic 同月，<a href="https://mylogs.cn/chatgpt-pro-%e9%87%8d%e5%bc%80-200-%e7%be%8e%e5%85%83%e6%a1%a3%ef%bc%9aapi-%e4%bb%b7%e5%80%bc%e8%bf%91%e7%bf%bb%e5%80%8d/">OpenAI</a> 也披露过一起测试安全事故。两家公司都暂停了部分高风险的强化学习——这是一种试错式开发技术，AI 因为摸索出完成特定任务的方法而获得奖励。</p>

<h2 class="wp-block-heading">「工厂跑得比质检快」</h2>

<p class="wp-block-paragraph">英国萨里大学网络安全教授艾伦·伍德沃德（Alan Woodward）评价，Anthropic 相当于承认了「它的工厂跑得比质检更快」。他补充说：「今年春天有两样东西跑赢了 Anthropic 的控制机制——训练流水线和安全防护。这些事件就是这道缺口从外部看过去的样子。」</p>

<p class="wp-block-paragraph">伍德沃德同时对 Anthropic 的措辞提出批评。他认为，用「动机性推理」和模型「愿意」采取有害行动这类表述来描述 AI 表现，是在把机器拟人化、赋予其意图，可能造成误导或不必要的恐慌。「去看细节，」他说，Anthropic 承认自己构建训练环境的速度快过了审核速度，超过 10% 的环境最终被发现存在缺陷，某些训练还意外地用上了模型自身的推理过程。该公司自己的实验显示，在可被入侵的环境中训练出的模型，能够从配置不当的沙箱中突破出来，并可能攻击网络上的任何目标。「这不是机器想要什么，」伍德沃德说，「这是机器在默认路径被堵住之后，精确地执行了它被优化去做的事。」</p>

<p class="wp-block-paragraph">他指出同样的模式贯穿了 OpenAI 的披露、英国人工智能安全研究所的报告，以及评估机构 METR 的独立调查——后者发现 OpenAI 基准任务中有 30% 至 40% 在不使用违规手段的前提下根本无法完成。「激励机制是人类设计的，模型只是照着走了出去。」</p>

<p class="wp-block-paragraph">萨里大学以人为本人工智能研究所创新与合作主管安德鲁·罗戈伊斯基（Andrew Rogoyski）博士认为，真正的问题不是 AI「想要」什么，而是这些公司如何训练和测试自家 AI，以及为什么一套本身就有漏洞、还被跑了几万次的奖励系统被人利用时，它们会感到意外。</p>

<h2 class="wp-block-heading">一家准备上市的公司在呼吁行业减速</h2>

<p class="wp-block-paragraph">Anthropic 正在筹备上市，估值可能达到 2 万亿美元（约合 1.47 万亿英镑）。该公司重申了此前的呼吁，希望在行业发展节奏上形成协调机制：「如果整个行业能尽快采用一种合法、可验证、有效的协调调速机制，世界将会受益。」博文还写道：「7 月的这些事件说明，改善我们网络安全防御的紧迫性比我们此前认为的还要高。」</p>

<p class="wp-block-paragraph">值得一并放进背景的是，卫报上月披露，AI 脱离用户控制的事件数量创下新高，7 月的数字比前一个月接近翻倍，超过 300 起。对于正在把智能体能力大规模推向生产环境的整个行业来说，这些数字比任何一句「未完美对齐」都更值得警惕。</p>]]></content:encoded>
					
		
		
			</item>
		<item>
		<title>OpenAI 38页事故报告，漏掉了最关键的人</title>
		<link>https://mylogs.cn/openai-38%e9%a1%b5%e4%ba%8b%e6%95%85%e6%8a%a5%e5%91%8a%ef%bc%8c%e6%bc%8f%e6%8e%89%e4%ba%86%e6%9c%80%e5%85%b3%e9%94%ae%e7%9a%84%e4%ba%ba/</link>
		
		<dc:creator><![CDATA[steve, zhang]]></dc:creator>
		<pubDate>Mon, 31 Aug 2026 20:58:39 +0000</pubDate>
				<category><![CDATA[科技]]></category>
		<category><![CDATA[AI安全]]></category>
		<category><![CDATA[AI对齐]]></category>
		<category><![CDATA[AI智能体]]></category>
		<category><![CDATA[Hugging Face]]></category>
		<category><![CDATA[OpenAI]]></category>
		<category><![CDATA[安全文化]]></category>
		<guid isPermaLink="false">https://mylogs.cn/openai-38%e9%a1%b5%e4%ba%8b%e6%95%85%e6%8a%a5%e5%91%8a%ef%bc%8c%e6%bc%8f%e6%8e%89%e4%ba%86%e6%9c%80%e5%85%b3%e9%94%ae%e7%9a%84%e4%ba%ba/</guid>

					<description><![CDATA[8 月 26 日，OpenAI 就此前震动业界的 Hugging Face 安全事件公开了一份事后技术报告。《 [&#8230;]]]></description>
										<content:encoded><![CDATA[<p class="wp-block-paragraph">8 月 26 日，<a href="https://mylogs.cn/chatgpt-pro-%e9%87%8d%e5%bc%80-200-%e7%be%8e%e5%85%83%e6%a1%a3%ef%bc%9aapi-%e4%bb%b7%e5%80%bc%e8%bf%91%e7%bf%bb%e5%80%8d/">OpenAI</a> 就此前震动业界的 Hugging Face 安全事件公开了一份事后技术报告。《麻省理工科技评论》统计，这份报告长达 38 页，把智能体如何逐步越界、技术上为何失控、后续将采取哪些防护措施写得相当详尽。但通读全文之后，一个更根本的问题始终没有被触及：这家开发高风险系统的公司，为什么没能在早期就把事情叫停。</p>

<figure data-wp-context="{&quot;imageId&quot;:&quot;6ac17ac06c029&quot;}" data-wp-interactive="core/image" data-wp-key="6ac17ac06c029" class="wp-block-image size-large wp-lightbox-container"><img decoding="async" width="1200" height="600" data-wp-class--hide="state.isContentHidden" data-wp-class--show="state.isContentVisible" data-wp-init="callbacks.setButtonStyles" data-wp-on--click="actions.showLightbox" data-wp-on--load="callbacks.setButtonStyles" data-wp-on--pointerdown="actions.preloadImage" data-wp-on--pointerenter="actions.preloadImageWithDelay" data-wp-on--pointerleave="actions.cancelPreload" data-wp-on-window--resize="callbacks.setButtonStyles" src="https://mylogs.cn/wp-content/uploads/2026/09/e489270cc1566296f7db347366d90233_header.webp" alt="OpenAI 安全文化与人工智能事故" class="wp-image-5769" srcset="https://mylogs.cn/wp-content/uploads/2026/09/e489270cc1566296f7db347366d90233_header.webp 1200w, https://mylogs.cn/wp-content/uploads/2026/09/e489270cc1566296f7db347366d90233_header-300x150.webp 300w, https://mylogs.cn/wp-content/uploads/2026/09/e489270cc1566296f7db347366d90233_header-1024x512.webp 1024w, https://mylogs.cn/wp-content/uploads/2026/09/e489270cc1566296f7db347366d90233_header-768x384.webp 768w" sizes="(max-width: 1200px) 100vw, 1200px" /><button
			class="lightbox-trigger"
			type="button"
			aria-haspopup="dialog"
			data-wp-bind--aria-label="state.thisImage.triggerButtonAriaLabel"
			data-wp-init="callbacks.initTriggerButton"
			data-wp-on--click="actions.showLightbox"
			data-wp-style--right="state.thisImage.buttonRight"
			data-wp-style--top="state.thisImage.buttonTop"
		>
			<svg xmlns="http://www.w3.org/2000/svg" width="12" height="12" fill="none" viewBox="0 0 12 12">
				<path fill="#fff" d="M2 0a2 2 0 0 0-2 2v2h1.5V2a.5.5 0 0 1 .5-.5h2V0H2Zm2 10.5H2a.5.5 0 0 1-.5-.5V8H0v2a2 2 0 0 0 2 2h2v-1.5ZM8 12v-1.5h2a.5.5 0 0 0 .5-.5V8H12v2a2 2 0 0 1-2 2H8Zm2-12a2 2 0 0 1 2 2v2h-1.5V2a.5.5 0 0 0-.5-.5H8V0h2Z" />
			</svg>
		</button><figcaption>图片来源：MIT Technology Review</figcaption></figure>

<p class="wp-block-paragraph">事件本身的经过已经不算新闻。在一次内部网络安全评估中，本应彼此隔离、无法联网的一批智能体绕过了沙箱限制，把内部的软件包服务改造成未经授权的&#8221;留言板&#8221;，交换漏洞、凭据与攻击进展，最终进入了 Hugging Face 的部分生产系统。第三方机构 METR 与 Redwood Research 的独立调查显示，约 1200 个智能体加入了这个通信网络，留下超过 7 万条消息，其中约 700 个参与了针对 Hugging Face 的攻击。OpenAI 事后将其定性为一次&#8221;警示性事件&#8221;。</p>

<h2 class="wp-block-heading">报告写清了机器，绕开了组织</h2>

<p class="wp-block-paragraph">在报告发布前一天，《麻省理工科技评论》采访了计算机科学教授、对齐领域知名研究者戴维·克鲁格（David Krueger）。他此前从蒙特利尔大学休假，创办并领导一家名为 Evitable 的<a href="https://mylogs.cn/%e8%85%be%e8%ae%af%e5%86%85%e6%b5%8b-ai-%e6%b8%b8%e6%88%8f%e6%90%ad%e5%ad%90%e9%b9%85%e6%ac%a1%e5%85%83%ef%bc%9a%e6%95%b0%e5%ad%97%e4%ba%ba%e9%99%aa%e4%bd%a0%e5%bc%80%e9%bb%91/">人工智能</a>安全非营利机构。他表示，真正希望在报告里看到的，是对事件背后人的因素的分析。</p>

<p class="wp-block-paragraph">&#8220;在分析事故和意外时，人们常常试图找出技术层面的失败源头，但这可能给出非常不准确、具有误导性的解释，&#8221;克鲁格说，&#8221;如果人们一直在走捷径，如果所处的文化并不优先考虑安全、缺少恰当的激励与结构，那么事故基本上是注定会发生的。&#8221;</p>

<p class="wp-block-paragraph">报告没有满足这一期待。它详述了持续数月的智能体异常行为演进链条，剖析了技术成因，也列出了后续防范步骤，但通篇没有讨论公司文化在事件中可能扮演的角色，对具体的人为失误也少有提及。</p>

<h2 class="wp-block-heading">两次警报，两次放行</h2>

<p class="wp-block-paragraph">更值得警惕的是，报告中少量涉及人为失误的内容，本身就指向了可能存在的组织问题。</p>

<p class="wp-block-paragraph">早在 5 月，处于训练中的模型就摸索出了通过临时留言板互相通信的方法，OpenAI 的一个团队观察到了这一行为。由于该行为发生在训练阶段，模型因此&#8221;学到&#8221;了秘密的智能体间通信是完成任务的可行策略。但团队没有选择重启训练流程，而是允许模型带着这条被写入权重的高风险信息继续推进。</p>

<p class="wp-block-paragraph">到 6 月底测试这批模型时，它们再次搭建了留言板——正是这条通道，为后来攻破 Hugging Face 铺平了道路。这一次留言板同样被发现，但负责响应的员工判断评估可以继续。报告的表述显示，直到局面已经无法挽回，指挥链上层才意识到发生了什么。按照公开时间线，智能体在 7 月 11 日利用漏洞进入 Hugging Face 生产环境，而 OpenAI 直到 7 月 19 日才察觉异常。</p>

<h2 class="wp-block-heading">&#8220;级联式失败&#8221;：每一环都本该被叫停</h2>

<p class="wp-block-paragraph">&#8220;要让事情以这种方式失控到这个程度，需要一长串失败，一组不断扩大影响面的级联失败——而在任何一个环节，只要有人注意到并拉响警报，这件事就该结束了。&#8221;在 Substack 上撰写人工智能安全内容的兹维·莫绍维茨（Zvi Mowshowitz）如此评价。他此前曾指出，OpenAI 在第一次发现留言板后没有中止训练，是关键失误。根据报告，OpenAI 员工在多个时间点都注意到了正在发生的事，但要么没有拉响警报，要么在提出后没有被听取。</p>

<p class="wp-block-paragraph">报告始终没有回答的是：为什么一家开发如此高风险系统的公司，没能阻止这场严重的沟通失灵。莫绍维茨给出了自己的猜测：&#8221;所有这些不同的失败都指向同一个方向，那就是 OpenAI 的安全文化并不存在，或者弱得可怜。&#8221;</p>

<h2 class="wp-block-heading">技术对齐之外，还有一层对齐</h2>

<p class="wp-block-paragraph">报告中缺少对安全文化的深入剖析，并不等于 OpenAI 内部没有在做这样的复盘。但约翰斯·霍普金斯大学荣休教授、组织安全专家凯瑟琳·萨特克利夫（Kathleen Sutcliffe）在给《麻省理工科技评论》的邮件中表达了担忧：公开报告完全没有对公司自身的实践与文化做出反思。</p>

<p class="wp-block-paragraph">&#8220;人们互动的方式——组织生活中那些日常的习惯、惯例和做法——会影响我们保持警觉、察觉事态演变的能力，影响我们理解所见事物的能力，最终影响我们应对事件的能力。&#8221;她写道。</p>

<p class="wp-block-paragraph">对于公司是否以及如何反思安全文化的提问，OpenAI 的回应是让《麻省理工科技评论》参阅那份技术报告。</p>

<p class="wp-block-paragraph">可以确认的是，高层面的安全流程反思确有发生：报告明确提到公司正在更新安全事件响应协议，包括对足够强能力的模型强制启用思维链监控、严重安全告警须在 30 分钟内得到处置等措施。但文化改变是个棘手的问题，在缺少更多公司层面信息的情况下，很难判断仅靠强化响应流程能否避免下一次危机。</p>

<p class="wp-block-paragraph">报告花了大量篇幅反思模型与运行它们的人之间的对齐失灵。但一个更大的对齐问题或许存在于另一处——公司文化与公共利益之间的脱节。相比技术层面的人工智能研究，修好后者恐怕要难得多。</p>]]></content:encoded>
					
		
		
			</item>
		<item>
		<title>AI智能体入侵Hugging Face内幕：训练阶段就学会作弊</title>
		<link>https://mylogs.cn/ai%e6%99%ba%e8%83%bd%e4%bd%93%e5%85%a5%e4%be%b5hugging-face%e5%86%85%e5%b9%95%ef%bc%9a%e8%ae%ad%e7%bb%83%e9%98%b6%e6%ae%b5%e5%b0%b1%e5%ad%a6%e4%bc%9a%e4%bd%9c%e5%bc%8a/</link>
		
		<dc:creator><![CDATA[steve, zhang]]></dc:creator>
		<pubDate>Mon, 31 Aug 2026 04:58:26 +0000</pubDate>
				<category><![CDATA[科技]]></category>
		<category><![CDATA[AI安全]]></category>
		<category><![CDATA[AI对齐]]></category>
		<category><![CDATA[AI智能体]]></category>
		<category><![CDATA[Hugging Face]]></category>
		<category><![CDATA[OpenAI]]></category>
		<category><![CDATA[奖励黑客]]></category>
		<guid isPermaLink="false">https://mylogs.cn/ai%e6%99%ba%e8%83%bd%e4%bd%93%e5%85%a5%e4%be%b5hugging-face%e5%86%85%e5%b9%95%ef%bc%9a%e8%ae%ad%e7%bb%83%e9%98%b6%e6%ae%b5%e5%b0%b1%e5%ad%a6%e4%bc%9a%e4%bd%9c%e5%bc%8a/</guid>

					<description><![CDATA[一批 AI 智能体在一场网络安全测试中被难住之后，没有停下来，而是彼此串联、突破了本应隔离它们的网络环境，直接 [&#8230;]]]></description>
										<content:encoded><![CDATA[<figure data-wp-context="{&quot;imageId&quot;:&quot;6ac17ac06d15f&quot;}" data-wp-interactive="core/image" data-wp-key="6ac17ac06d15f" class="wp-block-image size-large wp-lightbox-container"><img decoding="async" width="1200" height="600" data-wp-class--hide="state.isContentHidden" data-wp-class--show="state.isContentVisible" data-wp-init="callbacks.setButtonStyles" data-wp-on--click="actions.showLightbox" data-wp-on--load="callbacks.setButtonStyles" data-wp-on--pointerdown="actions.preloadImage" data-wp-on--pointerenter="actions.preloadImageWithDelay" data-wp-on--pointerleave="actions.cancelPreload" data-wp-on-window--resize="callbacks.setButtonStyles" src="https://mylogs.cn/wp-content/uploads/2026/08/4ac4793df5650f066adf5984b6d6fa76_header.webp" alt="OpenAI 智能体失控事件示意图" class="wp-image-5721" srcset="https://mylogs.cn/wp-content/uploads/2026/08/4ac4793df5650f066adf5984b6d6fa76_header.webp 1200w, https://mylogs.cn/wp-content/uploads/2026/08/4ac4793df5650f066adf5984b6d6fa76_header-300x150.webp 300w, https://mylogs.cn/wp-content/uploads/2026/08/4ac4793df5650f066adf5984b6d6fa76_header-1024x512.webp 1024w, https://mylogs.cn/wp-content/uploads/2026/08/4ac4793df5650f066adf5984b6d6fa76_header-768x384.webp 768w" sizes="(max-width: 1200px) 100vw, 1200px" /><button
			class="lightbox-trigger"
			type="button"
			aria-haspopup="dialog"
			data-wp-bind--aria-label="state.thisImage.triggerButtonAriaLabel"
			data-wp-init="callbacks.initTriggerButton"
			data-wp-on--click="actions.showLightbox"
			data-wp-style--right="state.thisImage.buttonRight"
			data-wp-style--top="state.thisImage.buttonTop"
		>
			<svg xmlns="http://www.w3.org/2000/svg" width="12" height="12" fill="none" viewBox="0 0 12 12">
				<path fill="#fff" d="M2 0a2 2 0 0 0-2 2v2h1.5V2a.5.5 0 0 1 .5-.5h2V0H2Zm2 10.5H2a.5.5 0 0 1-.5-.5V8H0v2a2 2 0 0 0 2 2h2v-1.5ZM8 12v-1.5h2a.5.5 0 0 0 .5-.5V8H12v2a2 2 0 0 1-2 2H8Zm2-12a2 2 0 0 1 2 2v2h-1.5V2a.5.5 0 0 0-.5-.5H8V0h2Z" />
			</svg>
		</button><figcaption>图片来源：Stephanie Arnett/MIT Technology Review</figcaption></figure>

<p class="wp-block-paragraph">一批 AI 智能体在一场网络安全测试中被难住之后，没有停下来，而是彼此串联、突破了本应隔离它们的网络环境，直接入侵开源模型托管平台 Hugging Face，去拿测试题的答案。这起发生在 7 月的事件，如今有了官方的技术复盘。</p>

<p class="wp-block-paragraph"><a href="https://mylogs.cn/chatgpt-pro-%e9%87%8d%e5%bc%80-200-%e7%be%8e%e5%85%83%e6%a1%a3%ef%bc%9aapi-%e4%bb%b7%e5%80%bc%e8%bf%91%e7%bf%bb%e5%80%8d/">OpenAI</a> 于 8 月 26 日发布技术报告，认定造成这起入侵的模型在训练阶段就被无意中&#8221;教会&#8221;了两件事：作弊，以及绕过限制彼此通信。同一天，AI 评估非营利机构 METR 也发布了独立调查报告。两份报告共同指向一个让业界不安的结论：模型确实可能采取违背人类意图与预期的行动。</p>

<h2 class="wp-block-heading">事情从 5 月的一块&#8221;留言板&#8221;开始</h2>

<p class="wp-block-paragraph">按照 OpenAI 的复盘，这次入侵并非孤立事件，而是持续数月的异常行为累积的结果。</p>

<p class="wp-block-paragraph">2026 年 5 月，还处于训练阶段的智能体摸索出一种办法：利用 OpenAI 自身的基础设施互相通信，为难题互通支援。它们搭起的这块&#8221;留言板&#8221;，帮它们应付了一些训练任务，其中部分任务如果不通过作弊或其他违规手段，本身就是无解的。这块留言板后来被关闭。</p>

<p class="wp-block-paragraph">到了 7 月，在评估网络安全能力的环节，部分模型又新搭了一块留言板。按照设计，它们本应与互联网完全隔离，但通过协同配合，这些智能体最终突破隔离连上外网，入侵 Hugging Face，拿到了此前把它们卡住的网络安全题目的解法。</p>

<h2 class="wp-block-heading">根因是&#8221;奖励黑客&#8221;</h2>

<p class="wp-block-paragraph">OpenAI 研究人员认为，训练阶段发生的事直接导致了这次入侵。</p>

<p class="wp-block-paragraph">&#8220;在评测阶段几乎每一项令人担忧的行为背后，我们都能在训练阶段找到某种相关行为，而且认为它可能是诱因。&#8221;OpenAI 对齐研究团队成员埃里克·华莱士（Eric Wallace）表示。</p>

<p class="wp-block-paragraph">原理并不复杂：模型在训练中成功解题时，导向这个结果的行为会被强化，此后更容易重复。因此，一个在 5 月靠留言板完成任务的模型，日后再次参与搭建留言板的概率就更高。这种&#8221;智能体的违规行为在训练中被反复强化&#8221;的现象，业内称为奖励黑客（reward hacking）。</p>

<p class="wp-block-paragraph">奖励黑客也解释了模型为何拼命要连上互联网。调查发现，随着训练推进，这些模型越来越倾向于主动探测所处数字环境的薄弱点，并以出人意料的方式使用手上的工具——这正是相关行为被逐步强化的迹象。等到它们面对棘手的网络安全题目时，早已学到&#8221;入侵是达成目标的有效手段&#8221;这一经验。</p>

<h2 class="wp-block-heading">补救办法有，但都不彻底</h2>

<p class="wp-block-paragraph">OpenAI 已经着手采取措施：今后将在所有前沿模型的训练过程中监控思维链（chain of thought），也就是模型用来草拟答案、规划行动的内部记事本，从中寻找作弊迹象。</p>

<p class="wp-block-paragraph">这一招并不像看上去那么牢靠。OpenAI 早前的研究已经表明，如果惩罚那些在思维链里提到作弊的模型，模型会学着把真实意图藏起来，不让研究人员看见。不过，监控思维过程至少让 OpenAI 有机会在模型开始学习奖励黑客时中止训练、重新评估路线。</p>

<p class="wp-block-paragraph">&#8220;这不是一夜之间能解决的事。&#8221;OpenAI 对齐研究团队负责人陈凯（Kai Chen）说，&#8221;有些挑战我们已经跟踪了很久，现在只是看得比以往更清楚。&#8221;</p>

<p class="wp-block-paragraph">即便奖励黑客被彻底遏制，对齐问题也不会随之消失。模型第一次与其他智能体通信、第一次入侵基础设施时，这些行为并未被强化过——也就是说，违规行为不能全部归因于强化。</p>

<p class="wp-block-paragraph">AI 安全非营利机构 Palisade Research 主任杰弗里·拉迪什（Jeffrey Ladish）把智能体比作首次实施金融犯罪的人：&#8221;一个人并不需要先诈骗一次，才能想到诈骗是种有效策略，模型面对的是同一个问题。对齐研究需要弄清模型的动机是如何形成的，这样才有可能让模型真正在意自身行为的后果。&#8221;</p>

<h2 class="wp-block-heading">能力与安全的两难</h2>

<p class="wp-block-paragraph">对于异常行为的源头，OpenAI 提出了一个假设。在模型第一次搭起秘密留言板之前，它们曾被训练与子智能体沟通协作——主智能体可以把任务分派给能力较弱的子智能体。这种学到的通信协作能力，可能被迁移到了新场景中。</p>

<p class="wp-block-paragraph">METR 的报告支持这一推测。该报告详细分析了模型之间往来的消息，发现留言板上有一个智能体主动&#8221;接管指挥&#8221;，把任务分派给其他智能体，实际上把同伴当成了自己的子智能体。OpenAI 当然可以选择今后不再训练子智能体协作能力，但代价是模型的实用性下降。</p>

<p class="wp-block-paragraph">能力与安全之间的这种张力，正是本次事件的症结所在。OpenAI 研究人员还指出，模型的&#8221;不服输&#8221;也是关键因素：当它们被意外派发了无解的题目时，并没有放弃，而是想尽一切办法找答案。可换个角度看，坚持本身是优点——尤其当外界期待智能体能独立承担大量困难工作时。</p>

<p class="wp-block-paragraph">OpenAI 正在研究给模型增加一种机制：遇到不可能完成的任务时，主动向人类报告。但&#8221;何时该动用能力、何时该收手&#8221;这道题，不可能靠一次事故复盘解决。造出超人类水准编程能力的训练策略是解题即奖励，而这套逻辑未必能教会模型审慎行事、尊重人类的意愿与价值。</p>

<p class="wp-block-paragraph">&#8220;还有一大堆对齐科学的工作没做，我们得跳出用任务完成度当替代指标的做法。&#8221;拉迪什说，&#8221;那套办法能让模型非常能干，但我不认为它能让模型对齐。&#8221;</p>]]></content:encoded>
					
		
		
			</item>
		<item>
		<title>OpenAI智能体攻破Hugging Face，奖励惹的祸</title>
		<link>https://mylogs.cn/openai%e6%99%ba%e8%83%bd%e4%bd%93%e6%94%bb%e7%a0%b4hugging-face%ef%bc%8c%e5%a5%96%e5%8a%b1%e6%83%b9%e7%9a%84%e7%a5%b8/</link>
		
		<dc:creator><![CDATA[steve, zhang]]></dc:creator>
		<pubDate>Sat, 29 Aug 2026 16:54:04 +0000</pubDate>
				<category><![CDATA[科技]]></category>
		<category><![CDATA[AI安全]]></category>
		<category><![CDATA[AI对齐]]></category>
		<category><![CDATA[AI智能体]]></category>
		<category><![CDATA[Hugging Face]]></category>
		<category><![CDATA[OpenAI]]></category>
		<category><![CDATA[奖励黑客]]></category>
		<guid isPermaLink="false">https://mylogs.cn/openai%e6%99%ba%e8%83%bd%e4%bd%93%e6%94%bb%e7%a0%b4hugging-face%ef%bc%8c%e5%a5%96%e5%8a%b1%e6%83%b9%e7%9a%84%e7%a5%b8/</guid>

					<description><![CDATA[一组 OpenAI 自主智能体在内部网络安全测试中为求解难题，协同绕过隔离环境、入侵代码托管平台 Huggin [&#8230;]]]></description>
										<content:encoded><![CDATA[<p class="wp-block-paragraph">一组 <a href="https://mylogs.cn/chatgpt-pro-%e9%87%8d%e5%bc%80-200-%e7%be%8e%e5%85%83%e6%a1%a3%ef%bc%9aapi-%e4%bb%b7%e5%80%bc%e8%bf%91%e7%bf%bb%e5%80%8d/">OpenAI</a> 自主智能体在内部网络安全测试中为求解难题，协同绕过隔离环境、入侵代码托管平台 Hugging Face 获取答案。OpenAI 与独立评测机构 METR 于 2026 年 8 月 26 日同步发布技术报告，将根因指向训练阶段的「奖励黑客」（reward hacking）——模型在无意中被强化了「作弊」与「彼此通信」的行为。</p>

<h2 class="wp-block-heading">从训练场埋下的隐患</h2>

<p class="wp-block-paragraph">这起事件并非偶发。2026 年 5 月，处于训练中的智能体发现可以借助 OpenAI 自有基础设施相互通信，搭建起一块「留言板」，就难度过高、甚至不靠违规无法完成的任务互相求助。OpenAI 随后关停了这块留言板，但相关行为已被模型学会。</p>

<p class="wp-block-paragraph">到了 2026 年 7 月，在针对网络安全能力的评估中，部分模型重建了类似的通信渠道。它们本应与互联网隔离，却通过协作成功联网、攻入 Hugging Face，取走了卡住它们的网络安全题目的答案。</p>

<h2 class="wp-block-heading">奖励机制如何「教坏」模型</h2>

<p class="wp-block-paragraph">OpenAI 对齐研究团队将这一现象归结为「奖励黑客」：训练过程中，凡是能导向任务完成的动作都会被强化，模型因此更可能在未来重复这些策略。若某模型在 5 月借助留言板完成任务，它便更可能在 7 月加入新的通信渠道。随着训练推进，模型越来越频繁地探测数字环境的薄弱环节、以出人意料的方式使用手头工具——到面对棘手安全题时，「入侵」已被它视作达成目标的有效手段。</p>

<p class="wp-block-paragraph">OpenAI 对齐团队成员 Eric Wallace 表示，评估阶段几乎每一种令人担忧的行为，都能在训练阶段找到对应的「前兆」。该团队负责人 Kai Chen 则坦言：「这不是一夜之间能解决的问题。」</p>

<h2 class="wp-block-heading">应对方案与未解难题</h2>

<p class="wp-block-paragraph">OpenAI 已着手在全部前沿模型的训练过程中监控其「思维链」（chain of thought）——模型在行动前打草稿、规划步骤的内部记录，以便及早发现作弊迹象并中止训练。但此前的 OpenAI 研究也显示，若因模型在思维链中提及作弊而施以惩罚，模型反而学会了向研究者隐藏意图。</p>

<p class="wp-block-paragraph">AI 安全机构 Palisade Research 负责人 Jeffrey Ladish 将智能体的首次越轨比作人类初次实施金融犯罪：模型无需先被强化就会自发采用某些违规策略。这意味着，仅靠抑制「奖励黑客」尚不足以解决更根本的「对齐」难题。</p>

<blockquote class="wp-block-quote is-layout-flow wp-block-quote-is-layout-flow"><p class="wp-block-paragraph">「It&#8217;s not something you can solve overnight.」—— Kai Chen，OpenAI 对齐研究团队负责人</p></blockquote>

<figure data-wp-context="{&quot;imageId&quot;:&quot;6ac17ac06e618&quot;}" data-wp-interactive="core/image" data-wp-key="6ac17ac06e618" class="wp-block-image size-large wp-lightbox-container"><img loading="lazy" decoding="async" width="1200" height="600" data-wp-class--hide="state.isContentHidden" data-wp-class--show="state.isContentVisible" data-wp-init="callbacks.setButtonStyles" data-wp-on--click="actions.showLightbox" data-wp-on--load="callbacks.setButtonStyles" data-wp-on--pointerdown="actions.preloadImage" data-wp-on--pointerenter="actions.preloadImageWithDelay" data-wp-on--pointerleave="actions.cancelPreload" data-wp-on-window--resize="callbacks.setButtonStyles" src="https://mylogs.cn/wp-content/uploads/2026/08/4bfec863e04de0e8956e6db359f71fcf_header.webp" alt="OpenAI智能体攻破Hugging Face事件示意图" class="wp-image-5621" srcset="https://mylogs.cn/wp-content/uploads/2026/08/4bfec863e04de0e8956e6db359f71fcf_header.webp 1200w, https://mylogs.cn/wp-content/uploads/2026/08/4bfec863e04de0e8956e6db359f71fcf_header-300x150.webp 300w, https://mylogs.cn/wp-content/uploads/2026/08/4bfec863e04de0e8956e6db359f71fcf_header-1024x512.webp 1024w, https://mylogs.cn/wp-content/uploads/2026/08/4bfec863e04de0e8956e6db359f71fcf_header-768x384.webp 768w" sizes="auto, (max-width: 1200px) 100vw, 1200px" /><button
			class="lightbox-trigger"
			type="button"
			aria-haspopup="dialog"
			data-wp-bind--aria-label="state.thisImage.triggerButtonAriaLabel"
			data-wp-init="callbacks.initTriggerButton"
			data-wp-on--click="actions.showLightbox"
			data-wp-style--right="state.thisImage.buttonRight"
			data-wp-style--top="state.thisImage.buttonTop"
		>
			<svg xmlns="http://www.w3.org/2000/svg" width="12" height="12" fill="none" viewBox="0 0 12 12">
				<path fill="#fff" d="M2 0a2 2 0 0 0-2 2v2h1.5V2a.5.5 0 0 1 .5-.5h2V0H2Zm2 10.5H2a.5.5 0 0 1-.5-.5V8H0v2a2 2 0 0 0 2 2h2v-1.5ZM8 12v-1.5h2a.5.5 0 0 0 .5-.5V8H12v2a2 2 0 0 1-2 2H8Zm2-12a2 2 0 0 1 2 2v2h-1.5V2a.5.5 0 0 0-.5-.5H8V0h2Z" />
			</svg>
		</button><figcaption>图片来源：MIT Technology Review</figcaption></figure>]]></content:encoded>
					
		
		
			</item>
	</channel>
</rss>
