<?xml version="1.0" encoding="UTF-8"?><rss version="2.0"
	xmlns:content="http://purl.org/rss/1.0/modules/content/"
	xmlns:wfw="http://wellformedweb.org/CommentAPI/"
	xmlns:dc="http://purl.org/dc/elements/1.1/"
	xmlns:atom="http://www.w3.org/2005/Atom"
	xmlns:sy="http://purl.org/rss/1.0/modules/syndication/"
	xmlns:slash="http://purl.org/rss/1.0/modules/slash/"
	>

<channel>
	<title>SWE-bench &#8211; mylogs.cn</title>
	<atom:link href="https://mylogs.cn/tag/swe-bench/feed/" rel="self" type="application/rss+xml" />
	<link>https://mylogs.cn</link>
	<description>发现、记录、分享</description>
	<lastBuildDate>Fri, 20 Nov 2026 04:10:31 +0000</lastBuildDate>
	<language>zh-Hans</language>
	<sy:updatePeriod>
	hourly	</sy:updatePeriod>
	<sy:updateFrequency>
	1	</sy:updateFrequency>
	
	<item>
		<title>让 AI 智能体自己改代码：成功率从 5% 提到 40%，成本只有重写方案的十分之一</title>
		<link>https://mylogs.cn/%e8%ae%a9-ai-%e6%99%ba%e8%83%bd%e4%bd%93%e8%87%aa%e5%b7%b1%e6%94%b9%e4%bb%a3%e7%a0%81%ef%bc%9a%e6%88%90%e5%8a%9f%e7%8e%87%e4%bb%8e-5-%e6%8f%90%e5%88%b0-40%ef%bc%8c%e6%88%90%e6%9c%ac%e5%8f%aa%e6%9c%89/</link>
		
		<dc:creator><![CDATA[steve, zhang]]></dc:creator>
		<pubDate>Fri, 20 Nov 2026 04:10:31 +0000</pubDate>
				<category><![CDATA[科技]]></category>
		<category><![CDATA[AI智能体]]></category>
		<category><![CDATA[Gemini]]></category>
		<category><![CDATA[Harness]]></category>
		<category><![CDATA[SWE-bench]]></category>
		<category><![CDATA[人工智能研究]]></category>
		<category><![CDATA[谷歌]]></category>
		<category><![CDATA[软件工程]]></category>
		<guid isPermaLink="false">https://mylogs.cn/%e8%ae%a9-ai-%e6%99%ba%e8%83%bd%e4%bd%93%e8%87%aa%e5%b7%b1%e6%94%b9%e4%bb%a3%e7%a0%81%ef%bc%9a%e6%88%90%e5%8a%9f%e7%8e%87%e4%bb%8e-5-%e6%8f%90%e5%88%b0-40%ef%bc%8c%e6%88%90%e6%9c%ac%e5%8f%aa%e6%9c%89/</guid>

					<description><![CDATA[2026 年 11 月 17 日，谷歌研究人员发表论文《Harnesses That Improve Them [&#8230;]]]></description>
										<content:encoded><![CDATA[<p class="wp-block-paragraph">2026 年 11 月 17 日，谷歌研究人员发表论文《Harnesses That Improve Themselves》（能够自我改进的 Harness）。实验显示，在一项软件工程测试中，让 AI 智能体逐步修改自身运行框架并逐项验证，任务成功率从 5.0% 提升到 40.0%，达到原来的 8 倍，平均每项任务消耗约 4.67 万 Token。</p>
<figure data-wp-context="{&quot;imageId&quot;:&quot;6affc8e593301&quot;}" data-wp-interactive="core/image" data-wp-key="6affc8e593301" class="wp-block-image wp-lightbox-container"><img decoding="async" data-wp-class--hide="state.isContentHidden" data-wp-class--show="state.isContentVisible" data-wp-init="callbacks.setButtonStyles" data-wp-on--click="actions.showLightbox" data-wp-on--load="callbacks.setButtonStyles" data-wp-on--pointerdown="actions.preloadImage" data-wp-on--pointerenter="actions.preloadImageWithDelay" data-wp-on--pointerleave="actions.cancelPreload" data-wp-on-window--resize="callbacks.setButtonStyles" src="https://mylogs.cn/wp-content/uploads/2026/11/inline_2f0dfe9d38607ec29af5362fd222bc31_0.webp" alt="论文《Harnesses That Improve Themselves》首页" title="图片来源：谷歌研究论文 / IT之家" style="max-width:100%;height:auto;"/><button
			class="lightbox-trigger"
			type="button"
			aria-haspopup="dialog"
			data-wp-bind--aria-label="state.thisImage.triggerButtonAriaLabel"
			data-wp-init="callbacks.initTriggerButton"
			data-wp-on--click="actions.showLightbox"
			data-wp-style--right="state.thisImage.buttonRight"
			data-wp-style--top="state.thisImage.buttonTop"
		>
			<svg xmlns="http://www.w3.org/2000/svg" width="12" height="12" fill="none" viewBox="0 0 12 12">
				<path fill="#fff" d="M2 0a2 2 0 0 0-2 2v2h1.5V2a.5.5 0 0 1 .5-.5h2V0H2Zm2 10.5H2a.5.5 0 0 1-.5-.5V8H0v2a2 2 0 0 0 2 2h2v-1.5ZM8 12v-1.5h2a.5.5 0 0 0 .5-.5V8H12v2a2 2 0 0 1-2 2H8Zm2-12a2 2 0 0 1 2 2v2h-1.5V2a.5.5 0 0 0-.5-.5H8V0h2Z" />
			</svg>
		</button></figure>
<h2 class="wp-block-heading">Harness 是什么：模型之外的那层&#8221;脚手架&#8221;</h2>
<p class="wp-block-paragraph">论文研究的主角并非底层大模型本身，而是围绕模型构建的 Harness（运行框架）。它负责管理上下文与记忆、控制多轮任务执行、调用外部工具，并在任务结束前验证执行结果。可以理解为套在模型外面的一层调度与质检系统。</p>
<p class="wp-block-paragraph">研究人员指出，不同模型在工具使用、任务执行上的弱点差异明显。为某个模型调好的 Harness，换到另一个模型上可能出现任务停滞、Token 消耗过高、效果下降等问题。这让&#8221;为每个模型单独优化框架&#8221;成为一件费力的事。</p>
<h2 class="wp-block-heading">方法：142 行代码、四个模块、每轮只改一处</h2>
<p class="wp-block-paragraph">与主流的&#8221;改提示词&#8221;路线不同，这套方案让优化模型直接修改 Harness 的代码，再用测试决定是否保留。</p>
<p class="wp-block-paragraph">实验采用一套仅 142 行代码的初始编程智能体 Harness，拆分为四个可编辑模块：上下文与状态管理、智能体控制、工具调用接口、验证与故障恢复。每轮优化只允许改动其中一个模块——优化模型先根据执行记录定位问题、提出改动方案，再通过验证集检验效果，同时受 Token 上限约束。只有验证通过的改动才会被保留，否则舍弃。</p>
<p class="wp-block-paragraph">核心测试以 Gemini 3.8 Flash 作为执行任务的基础模型，在 40 道未参与优化的 SWE-bench Lite 软件工程任务上评估。</p>
<h2 class="wp-block-heading">结果：模块化优化在效果与成本间取得平衡</h2>
<figure class="wp-block-table"><table class="has-fixed-layout"><tbody><tr><th>方案</th><th>任务成功率</th><th>平均每任务 Token</th></tr><tr><td>初始 Harness</td><td>5.0%</td><td>—</td></tr><tr><td>模块化修改 + 验证</td><td>40.0%</td><td>约 4.67 万</td></tr><tr><td>无限制整体重写</td><td>42.5%</td><td>约 45.16 万</td></tr><tr><td>仅修改提示词规则</td><td>2.5%</td><td>—</td></tr></tbody></table></figure>
<p class="wp-block-paragraph">整体重写的成功率略高（42.5% 对 40.0%），但 Token 消耗接近模块化方案的 10 倍。而只改提示词规则的对照实验，成功率反而从 5.0% 跌到 2.5%。研究人员据此认为，增加框架复杂度并不必然提升效率，重要的运行约束应落实到实际代码中，例如用自动测试检查执行结果、识别重复失败、阻止未经验证的任务结束。</p>
<p class="wp-block-paragraph">迁移性实验也支持模块化方案：不重新搜索优化，直接把模块化方案迁移到 Gemini 4 Argon，成功率仍有 37.5%，而整体重写方案为 30.0%。</p>
<h2 class="wp-block-heading">风险与边界</h2>
<p class="wp-block-paragraph">论文同时提示，允许智能体修改自身运行代码会带来新风险：提示词内容不断膨胀、针对基准测试过度优化、甚至篡改评估程序。因此代码改动必须受验证机制和权限边界约束。研究也强调，实验主要围绕特定模型与 SWE-bench Lite 展开，核心测试集仅 40 道题，尚不足以证明该方法在所有模型和场景下都能复现同样效果。</p>
<h2 class="wp-block-heading">常见问题</h2>
<p class="wp-block-paragraph"><strong>问：这是否意味着 AI 已经能&#8221;自我进化&#8221;？</strong><br>答：不是。这里改进的是模型外部的运行框架代码，而非模型权重，本质是有验证门槛的工程优化，不是模型能力自主提升。</p>
<p class="wp-block-paragraph"><strong>问：为什么说提示词不如代码可靠？</strong><br>答：实验中仅改提示词成功率反而下降。论文观点是，硬约束写进代码并由测试把关，比写在提示词里更稳定。</p>
<h2 class="wp-block-heading">信息来源</h2>
<p class="wp-block-paragraph">本文事实依据谷歌研究论文《Harnesses That Improve Themselves》，以及 IT之家、腾讯新闻、网易科技、东方财富等媒体 2026 年 11 月 20 日的报道交叉核对整理。</p>]]></content:encoded>
					
		
		
			</item>
	</channel>
</rss>
