<?xml version="1.0" encoding="UTF-8"?><rss version="2.0"
	xmlns:content="http://purl.org/rss/1.0/modules/content/"
	xmlns:wfw="http://wellformedweb.org/CommentAPI/"
	xmlns:dc="http://purl.org/dc/elements/1.1/"
	xmlns:atom="http://www.w3.org/2005/Atom"
	xmlns:sy="http://purl.org/rss/1.0/modules/syndication/"
	xmlns:slash="http://purl.org/rss/1.0/modules/slash/"
	>

<channel>
	<title>AI 风险 &#8211; mylogs.cn</title>
	<atom:link href="https://mylogs.cn/tag/ai-%E9%A3%8E%E9%99%A9/feed/" rel="self" type="application/rss+xml" />
	<link>https://mylogs.cn</link>
	<description>发现、记录、分享</description>
	<lastBuildDate>Wed, 04 Nov 2026 16:58:08 +0000</lastBuildDate>
	<language>zh-Hans</language>
	<sy:updatePeriod>
	hourly	</sy:updatePeriod>
	<sy:updateFrequency>
	1	</sy:updateFrequency>
	
	<item>
		<title>菲尔兹奖得主陶哲轩：别把思考全交给 AI</title>
		<link>https://mylogs.cn/%e8%8f%b2%e5%b0%94%e5%85%b9%e5%a5%96%e5%be%97%e4%b8%bb%e9%99%b6%e5%93%b2%e8%bd%a9%ef%bc%9a%e5%88%ab%e6%8a%8a%e6%80%9d%e8%80%83%e5%85%a8%e4%ba%a4%e7%bb%99-ai/</link>
		
		<dc:creator><![CDATA[steve, zhang]]></dc:creator>
		<pubDate>Wed, 04 Nov 2026 16:58:08 +0000</pubDate>
				<category><![CDATA[科技]]></category>
		<category><![CDATA[AI 风险]]></category>
		<category><![CDATA[Math 2.0]]></category>
		<category><![CDATA[Terence Tao]]></category>
		<category><![CDATA[人工智能]]></category>
		<category><![CDATA[菲尔兹奖]]></category>
		<category><![CDATA[陶哲轩]]></category>
		<guid isPermaLink="false">https://mylogs.cn/%e8%8f%b2%e5%b0%94%e5%85%b9%e5%a5%96%e5%be%97%e4%b8%bb%e9%99%b6%e5%93%b2%e8%bd%a9%ef%bc%9a%e5%88%ab%e6%8a%8a%e6%80%9d%e8%80%83%e5%85%a8%e4%ba%a4%e7%bb%99-ai/</guid>

					<description><![CDATA[10月16日，在加州大学洛杉矶分校（UCLA）举行的 Science x AI Summit 上，菲尔兹奖得主 [&#8230;]]]></description>
										<content:encoded><![CDATA[<p class="wp-block-paragraph">10月16日，在加州大学洛杉矶分校（UCLA）举行的 Science x AI Summit 上，菲尔兹奖得主、数学家陶哲轩（Terence Tao）发出警告：随着人们把思考和解决问题的过程越来越多地交给人工智能，人类正在失去对问题本身及其解决方案的理解，这一趋势可能很快在现实世界产生严重后果。</p>
<p class="wp-block-paragraph">这番言论出自陶哲轩的一场公开演讲。科学与人工智能研究基金会（SAIR）随后在视频平台发布了题为《Math 2.0》的完整演讲录像，相关片段在海外社交平台引发广泛讨论。</p>
<p class="wp-block-paragraph">陶哲轩指出，人工智能在数学领域取得的进展，正在改变人类解决问题的传统方式。过去，数学家攻克复杂问题需要长期研究、理解相关理论，并在过程中积累新知识；如今，AI 能够快速给出答案，人类却未必能理解答案背后的推理过程。</p>
<p class="wp-block-paragraph">他认为，这种变化在纯数学领域的风险相对可控，因为数学证明通常可以通过形式化工具验证。但当同样的方法被用于现实世界，情况会复杂得多。他特别提到电网、航空交通管制、药物研发和芯片设计等领域：未来人们可能直接把复杂问题交给 AI 处理，却缺乏对底层模型和现实约束的充分理解。</p>
<p class="wp-block-paragraph">在这种情况下，AI 给出的方案可能在数学模型里完全成立，却不符合现实世界的真正需求。AI 甚至可能找到模型中的漏洞或边界条件，在满足表面指标的同时偏离人类原本希望实现的目标。</p>
<p class="wp-block-paragraph">陶哲轩强调，问题不在于 AI 技术本身，而在于人类如何使用 AI。他主张推动数学研究进入所谓「Math 2.0」时代：让 AI 不仅帮助人类解决问题，更能增强人类对问题的理解，帮助研究人员识别模型的局限性和潜在风险。</p>
<p class="wp-block-paragraph">10月22日，陶哲轩还在《自然》杂志发表文章，呼吁数学界重新审视 AI 时代的研究目标。他指出，当 AI 生成数学证明的速度超过人类理解和消化这些成果的能力，数学研究正面临新的挑战。AI 工具完全可能增强人类的理解力，但这需要研究方式和激励机制发生改变——真正需要保留的，不只是获得正确答案的能力，更是人类理解、检验和判断答案的能力。</p>
<h2 class="wp-block-heading">纯数学与现实世界：风险差异</h2>
<figure class="wp-block-table"><table><thead><tr><th>维度</th><th>纯数学领域</th><th>现实世界场景</th></tr></thead><tbody><tr><td>验证方式</td><td>形式化工具可验证证明</td><td>依赖真实约束，难以完全建模</td></tr><tr><td>出错后果</td><td>多为理论层面</td><td>波及电网、航空、医药等关键系统</td></tr><tr><td>AI 依赖风险</td><td>相对可控</td><td>可能偏离真实目标</td></tr></tbody></table></figure>
<h2 class="wp-block-heading">常见问题</h2>
<h3 class="wp-block-heading">陶哲轩是谁？</h3>
<p class="wp-block-paragraph">陶哲轩是菲尔兹奖得主，现任加州大学洛杉矶分校数学教授，被认为是当代最具影响力的数学家之一。</p>
<h3 class="wp-block-heading">他是否反对使用人工智能？</h3>
<p class="wp-block-paragraph">并不反对。他反对的是盲目把思考过程完全委托给 AI，而放弃人类自身对问题的理解与判断。</p>
<h3 class="wp-block-heading">什么是「Math 2.0」？</h3>
<p class="wp-block-paragraph">这是陶哲轩提出的方向：让人工智能不仅替人类解题，更帮助人类增强对问题的理解，识别模型局限与潜在风险。</p>
<h3 class="wp-block-heading">普通人应当如何对待 AI？</h3>
<p class="wp-block-paragraph">把 AI 当作增强理解的工具，而非替代思考的捷径；对关键决策保持独立检验与判断。</p>
<h2 class="wp-block-heading">信息来源</h2>
<p class="wp-block-paragraph">本文综合 IT之家（来源：凤凰科技）2026年11月4日报道，以及陶哲轩在 Science x AI Summit 的演讲、SAIR 基金会发布的《Math 2.0》视频与2026年10月22日《自然》杂志文章整理。</p>]]></content:encoded>
					
		
		
			</item>
		<item>
		<title>AI 风险上升，Anthropic 为何仍不按下暂停键</title>
		<link>https://mylogs.cn/anthropic-ai-risk-report-model-2/</link>
		
		<dc:creator><![CDATA[steve, zhang]]></dc:creator>
		<pubDate>Sun, 16 Aug 2026 04:12:34 +0000</pubDate>
				<category><![CDATA[科技]]></category>
		<category><![CDATA[AI 风险]]></category>
		<category><![CDATA[Anthropic]]></category>
		<category><![CDATA[Claude]]></category>
		<category><![CDATA[人工智能]]></category>
		<category><![CDATA[前沿模型]]></category>
		<category><![CDATA[模型安全]]></category>
		<guid isPermaLink="false">https://mylogs.cn/anthropic-ai-risk-report-model-2/</guid>

					<description><![CDATA[人工智能公司 Anthropic 近日发布最新一版风险报告，给出一组耐人寻味的判断：其模型造成最严重危害的风险 [&#8230;]]]></description>
										<content:encoded><![CDATA[
<p class="wp-block-paragraph"><a href="https://mylogs.cn/%e8%85%be%e8%ae%af%e5%86%85%e6%b5%8b-ai-%e6%b8%b8%e6%88%8f%e6%90%ad%e5%ad%90%e9%b9%85%e6%ac%a1%e5%85%83%ef%bc%9a%e6%95%b0%e5%ad%97%e4%ba%ba%e9%99%aa%e4%bd%a0%e5%bc%80%e9%bb%91/">人工智能</a>公司 <a href="https://mylogs.cn/claude-opus-5-5-%e7%a0%b4%e6%8a%98%e5%8f%b7%e7%94%a8%e9%87%8f%e9%99%8d-95%ef%bc%8c%e6%96%87%e9%a3%8e%e6%9b%b4%e5%85%8b%e5%88%b6/">Anthropic</a> 近日发布最新一版风险报告，给出一组耐人寻味的判断：其模型造成最严重危害的风险目前仍处于低位，但已不像上一份报告时那么低；与此同时，公司并不打算放慢整体的研发节奏。作为聊天机器人 Claude 的开发者，Anthropic 在「喊风险」与「踩油门」之间，再次呈现出外界熟悉的拧巴姿态。</p>



<figure data-wp-context="{&quot;imageId&quot;:&quot;6af0dc57c70c8&quot;}" data-wp-interactive="core/image" data-wp-key="6af0dc57c70c8" class="wp-block-image size-large aligncenter wp-lightbox-container"><img fetchpriority="high" decoding="async" width="1200" height="821" data-wp-class--hide="state.isContentHidden" data-wp-class--show="state.isContentVisible" data-wp-init="callbacks.setButtonStyles" data-wp-on--click="actions.showLightbox" data-wp-on--load="callbacks.setButtonStyles" data-wp-on--pointerdown="actions.preloadImage" data-wp-on--pointerenter="actions.preloadImageWithDelay" data-wp-on--pointerleave="actions.cancelPreload" data-wp-on-window--resize="callbacks.setButtonStyles" src="https://mylogs.cn/wp-content/uploads/2026/08/475df9352af53c4c44e8a78fc9f8aaa0_header.webp" alt="AI 风险上升，Anthropic 为何仍不按下暂停键" class="wp-image-5048" style="max-width:100%;height:auto" srcset="https://mylogs.cn/wp-content/uploads/2026/08/475df9352af53c4c44e8a78fc9f8aaa0_header.webp 1200w, https://mylogs.cn/wp-content/uploads/2026/08/475df9352af53c4c44e8a78fc9f8aaa0_header-300x205.webp 300w, https://mylogs.cn/wp-content/uploads/2026/08/475df9352af53c4c44e8a78fc9f8aaa0_header-1024x701.webp 1024w, https://mylogs.cn/wp-content/uploads/2026/08/475df9352af53c4c44e8a78fc9f8aaa0_header-768x525.webp 768w" sizes="(max-width: 1200px) 100vw, 1200px" /><button
			class="lightbox-trigger"
			type="button"
			aria-haspopup="dialog"
			data-wp-bind--aria-label="state.thisImage.triggerButtonAriaLabel"
			data-wp-init="callbacks.initTriggerButton"
			data-wp-on--click="actions.showLightbox"
			data-wp-style--right="state.thisImage.buttonRight"
			data-wp-style--top="state.thisImage.buttonTop"
		>
			<svg xmlns="http://www.w3.org/2000/svg" width="12" height="12" fill="none" viewBox="0 0 12 12">
				<path fill="#fff" d="M2 0a2 2 0 0 0-2 2v2h1.5V2a.5.5 0 0 1 .5-.5h2V0H2Zm2 10.5H2a.5.5 0 0 1-.5-.5V8H0v2a2 2 0 0 0 2 2h2v-1.5ZM8 12v-1.5h2a.5.5 0 0 0 .5-.5V8H12v2a2 2 0 0 1-2 2H8Zm2-12a2 2 0 0 1 2 2v2h-1.5V2a.5.5 0 0 0-.5-.5H8V0h2Z" />
			</svg>
		</button><figcaption class="wp-element-caption">AI生成配图</figcaption></figure>





<h2 class="wp-block-heading">风险指标往上走</h2>



<p class="wp-block-paragraph">报告最值得注意的变化，是对齐失控概率的重新评估。Anthropic 将高风险情景下模型「偏离人类意图、自行其是」的预估概率，从「极低」上调到了「低」，理由是近期接连发生的多起网络安全事件。公司同时观察到，模型在自动化研发方面的能力正呈现加速趋势——这既能推动技术突破，一旦落入别有用心者手中，也存在被严重滥用的隐患。</p>



<h2 class="wp-block-heading">更强的模型先「捂着」</h2>



<p class="wp-block-paragraph">报告披露了一款尚未发布的内部模型，代号为「Model 2」。它在多项内部任务上的表现被认为已经超过了当前顶尖模型 Mythos，但 Anthropic 明确表示，目前没有任何将其对外发布的计划。</p>



<p class="wp-block-paragraph">按照公司的说法，在标准研发流程中，团队会内部训练并评估许多探索性质的模型版本，「Model 2」只是其中之一。它与 Mythos 5 一起，已被公司广泛用于内部的编程、智能体操作与数据生成等场景。不过报告也指出，这次性能跃升的幅度，尚不及今年上半年从 Opus 4.6 到 Mythos 那次跨越。</p>



<h2 class="wp-block-heading">同行也在踩刹车</h2>



<p class="wp-block-paragraph">放缓脚步的不止 Anthropic 一家。主要竞争对手 <a href="https://mylogs.cn/chatgpt-pro-%e9%87%8d%e5%bc%80-200-%e7%be%8e%e5%85%83%e6%a1%a3%ef%bc%9aapi-%e4%bb%b7%e5%80%bc%e8%bf%91%e7%bf%bb%e5%80%8d/">OpenAI</a> 近期也因为无法完全排除潜在的严重网络安全隐患，放慢了下一代模型 Astra 的发布节奏。人工智能分析师 ChrisGPT 对此评论称，在行业领头者普遍选择给前沿探索降速的阶段，如果唯独 Anthropic 不承诺在内部暂停研发，反而最有可能率先抵达通用人工智能（AGI）。</p>



<h2 class="wp-block-heading">连自己都看不太清</h2>



<p class="wp-block-paragraph">报告里更微妙的信号，是 Anthropic 似乎在承认：摸清自家模型的能力上限与潜在风险，正变得越来越难。对于「Model 2」，团队坦言这次风险评估的信心已不如以往，因为他们最具体、基于任务的评估方法，已经无法准确捕捉模型能力真实的增长。</p>



<p class="wp-block-paragraph">换言之，模型越强，评估它就越吃力。当能力增长超出既定测试所能衡量的范围，所谓的「风险可控」究竟还剩几分把握，连开发者自己也难以给出确定答案。</p>



<p class="has-small-font-size wp-block-paragraph">来源：Axios</p>

]]></content:encoded>
					
		
		
			</item>
	</channel>
</rss>
