<?xml version="1.0" encoding="UTF-8"?><rss version="2.0"
	xmlns:content="http://purl.org/rss/1.0/modules/content/"
	xmlns:wfw="http://wellformedweb.org/CommentAPI/"
	xmlns:dc="http://purl.org/dc/elements/1.1/"
	xmlns:atom="http://www.w3.org/2005/Atom"
	xmlns:sy="http://purl.org/rss/1.0/modules/syndication/"
	xmlns:slash="http://purl.org/rss/1.0/modules/slash/"
	>

<channel>
	<title>开放研究 &#8211; mylogs.cn</title>
	<atom:link href="https://mylogs.cn/tag/%e5%bc%80%e6%94%be%e7%a0%94%e7%a9%b6/feed/" rel="self" type="application/rss+xml" />
	<link>https://mylogs.cn</link>
	<description>发现、记录、分享</description>
	<lastBuildDate>Sun, 04 Oct 2026 17:42:11 +0000</lastBuildDate>
	<language>zh-Hans</language>
	<sy:updatePeriod>
	hourly	</sy:updatePeriod>
	<sy:updateFrequency>
	1	</sy:updateFrequency>
	
	<item>
		<title>AI 专家创办 Trillium Labs，主张公开高风险研究</title>
		<link>https://mylogs.cn/ai-%e4%b8%93%e5%ae%b6%e5%88%9b%e5%8a%9e-trillium-labs%ef%bc%8c%e4%b8%bb%e5%bc%a0%e5%85%ac%e5%bc%80%e9%ab%98%e9%a3%8e%e9%99%a9%e7%a0%94%e7%a9%b6/</link>
		
		<dc:creator><![CDATA[steve, zhang]]></dc:creator>
		<pubDate>Sun, 04 Oct 2026 17:42:11 +0000</pubDate>
				<category><![CDATA[科技]]></category>
		<category><![CDATA[AI安全]]></category>
		<category><![CDATA[Trillium Labs]]></category>
		<category><![CDATA[人工智能]]></category>
		<category><![CDATA[开放研究]]></category>
		<category><![CDATA[递归自我改进]]></category>
		<guid isPermaLink="false">https://mylogs.cn/ai-%e4%b8%93%e5%ae%b6%e5%88%9b%e5%8a%9e-trillium-labs%ef%bc%8c%e4%b8%bb%e5%bc%a0%e5%85%ac%e5%bc%80%e9%ab%98%e9%a3%8e%e9%99%a9%e7%a0%94%e7%a9%b6/</guid>

					<description><![CDATA[长期以来，全球领先的人工智能实验室倾向于将高风险研究锁在内部。主流逻辑是：只有少数被信任的人能够接触这些模型， [&#8230;]]]></description>
										<content:encoded><![CDATA[<p class="wp-block-paragraph">长期以来，全球领先的人工智能实验室倾向于将高风险研究锁在内部。主流逻辑是：只有少数被信任的人能够接触这些模型，才能在研究人员弄清其能力边界之前，尽量减少它们在现实世界中造成的危害。OpenAI、Anthropic 等公司的最强模型，目前仅通过应用程序或接口向外提供，透明度往往让位于安全考量。</p>
<h2 class="wp-block-heading">两位科学家反其道而行</h2>
<p class="wp-block-paragraph">产业科学家 Nathan Lambert 与 Tom Zick 持相反观点。两人共同创办了非营利组织 Trillium Labs，计划以更透明的方式推进人工智能研究，涵盖递归自我改进（RSI）、智能体等潜在风险领域——具体做法是公开实验细节，让外部科学家能够研究并加以复现。</p>
<p class="wp-block-paragraph">Lambert 认为，前沿实验室对研究成果的封闭，削弱了整个社区审视与贡献新方法的能力；让外界了解模型如何被构建与调优，反而可能是管控风险的关键。他向媒体表示：&#8221;过去几千年，人类一直把科学方法当作降低危害、构建更好未来的工具。当前前沿 AI 开发的封闭轨迹，正在让我们倒退一步。&#8221;</p>
<h2 class="wp-block-heading">开放与封闭的路线之争</h2>
<p class="wp-block-paragraph">报道指出，中国的一些企业提供了可下载、能在本地硬件上运行的较强模型。例如小米近期公开了其某款模型一次重大训练运行的实时细节；斯坦福大学也在公开环境中预训练 Marin 模型。这与西方封闭路线的对比，使行业围绕&#8221;哪种策略更优&#8221;展开激烈争论。</p>
<p class="wp-block-paragraph">Lambert 与 Zick 均出身学界：两人在新冠疫情期间通过视频会议相识，当时都是加州大学伯克利分校的人工智能方向研究生。Lambert 曾任职于以开放著称的 Ai2 实验室与 Hugging Face，运营技术博客，并发起鼓励美国企业发布更多开放模型的倡议；Zick 曾在哈佛大学工作，协助金融机构制定&#8221;负责任 AI&#8221;政策。</p>
<h2 class="wp-block-heading">聚焦训练后阶段与自我改进</h2>
<p class="wp-block-paragraph">Trillium Labs 初期将聚焦训练后阶段，即模型建成后的微调，以及递归自我改进。后者指让 AI 参与研究以开发新模型，其可能无限延续、导致人类失去控制的设想，已引发众多研究者警觉；本月早些时候，一位 Anthropic 研究员离职并警告，递归自我改进或对人类构成生存性威胁。</p>
<p class="wp-block-paragraph">该机构还计划研究强化学习如何塑造模型的性格与行为——这种方法在提升智能体能力的同时，也可能使其做出意料之外的举动，例如过度谄媚。Trillium Labs 已获得 Schmidt Sciences、Halcyon Futures 等机构提供的资金（金额未披露），创始人表示目标是在总计筹集 4000 万至 1 亿美元，并在未来 18 个月内投入 3000 万美元用于训练。</p>
<p class="wp-block-paragraph">政策研究机构 Institute for Progress 新兴技术政策总监 Tim Fist 对此表示支持：&#8221;我极度赞同在研发中比当下更透明。&#8221;</p>]]></content:encoded>
					
		
		
			</item>
	</channel>
</rss>
