<?xml version="1.0" encoding="UTF-8"?><rss version="2.0"
	xmlns:content="http://purl.org/rss/1.0/modules/content/"
	xmlns:wfw="http://wellformedweb.org/CommentAPI/"
	xmlns:dc="http://purl.org/dc/elements/1.1/"
	xmlns:atom="http://www.w3.org/2005/Atom"
	xmlns:sy="http://purl.org/rss/1.0/modules/syndication/"
	xmlns:slash="http://purl.org/rss/1.0/modules/slash/"
	>

<channel>
	<title>本地推理 &#8211; mylogs.cn</title>
	<atom:link href="https://mylogs.cn/tag/%E6%9C%AC%E5%9C%B0%E6%8E%A8%E7%90%86/feed/" rel="self" type="application/rss+xml" />
	<link>https://mylogs.cn</link>
	<description>发现、记录、分享</description>
	<lastBuildDate>Wed, 11 Nov 2026 03:44:37 +0000</lastBuildDate>
	<language>zh-Hans</language>
	<sy:updatePeriod>
	hourly	</sy:updatePeriod>
	<sy:updateFrequency>
	1	</sy:updateFrequency>
	
	<item>
		<title>AMD 发布 Instinct Coder 355：本地运行 GLM-5.3</title>
		<link>https://mylogs.cn/amd-%e5%8f%91%e5%b8%83-instinct-coder-355%ef%bc%9a%e6%9c%ac%e5%9c%b0%e8%bf%90%e8%a1%8c-glm-5-3/</link>
		
		<dc:creator><![CDATA[steve, zhang]]></dc:creator>
		<pubDate>Wed, 11 Nov 2026 03:44:37 +0000</pubDate>
				<category><![CDATA[科技]]></category>
		<category><![CDATA[AI 编程]]></category>
		<category><![CDATA[AMD]]></category>
		<category><![CDATA[GLM-5.3]]></category>
		<category><![CDATA[Instinct Coder 355]]></category>
		<category><![CDATA[企业 AI]]></category>
		<category><![CDATA[本地推理]]></category>
		<guid isPermaLink="false">https://mylogs.cn/amd-%e5%8f%91%e5%b8%83-instinct-coder-355%ef%bc%9a%e6%9c%ac%e5%9c%b0%e8%bf%90%e8%a1%8c-glm-5-3/</guid>

					<description><![CDATA[AMD 于当地时间 11 月 9 日宣布，携手 Spectro Cloud 推出企业级 AI 辅助编程平台 I [&#8230;]]]></description>
										<content:encoded><![CDATA[<p class="wp-block-paragraph">AMD 于当地时间 11 月 9 日宣布，携手 Spectro Cloud 推出企业级 AI 辅助编程平台 Instinct Coder 355。该系统支持 GLM-5.3 推理部署，可在本地实现前沿模型约 98% 的性能。</p>
<h2 class="wp-block-heading">硬件配置：单台机器即一个编程集群</h2>
<p class="wp-block-paragraph">Instinct Coder 355 的核心由 8 张 AMD Instinct MI355X 加速器构成，配套 2 颗 64 核的 EPYC 9575F（Zen 5 架构）处理器，此外还包括 3TB DDR5-6400 内存以及合计 63.36TB 的固态硬盘存储。戴尔版本与 Supermicro 版本在其它规格上存在差异，企业可依据自身数据中心环境选择。</p>
<p class="wp-block-paragraph">据 Spectro Cloud 介绍，该系统的单个节点最多可满足 85 名开发者的使用需求，其中可支持 50 人同时在线编程。</p>
<figure data-wp-context="{&quot;imageId&quot;:&quot;6af7da0774a8a&quot;}" data-wp-interactive="core/image" data-wp-key="6af7da0774a8a" class="wp-block-image wp-lightbox-container"><img decoding="async" data-wp-class--hide="state.isContentHidden" data-wp-class--show="state.isContentVisible" data-wp-init="callbacks.setButtonStyles" data-wp-on--click="actions.showLightbox" data-wp-on--load="callbacks.setButtonStyles" data-wp-on--pointerdown="actions.preloadImage" data-wp-on--pointerenter="actions.preloadImageWithDelay" data-wp-on--pointerleave="actions.cancelPreload" data-wp-on-window--resize="callbacks.setButtonStyles" src="https://mylogs.cn/wp-content/uploads/2026/11/inline_amd_coder_355_0.webp" alt="Supermicro 版本 Instinct Coder 355" title="图片来源：AMD" style="max-width:100%;height:auto;"/><button
			class="lightbox-trigger"
			type="button"
			aria-haspopup="dialog"
			data-wp-bind--aria-label="state.thisImage.triggerButtonAriaLabel"
			data-wp-init="callbacks.initTriggerButton"
			data-wp-on--click="actions.showLightbox"
			data-wp-style--right="state.thisImage.buttonRight"
			data-wp-style--top="state.thisImage.buttonTop"
		>
			<svg xmlns="http://www.w3.org/2000/svg" width="12" height="12" fill="none" viewBox="0 0 12 12">
				<path fill="#fff" d="M2 0a2 2 0 0 0-2 2v2h1.5V2a.5.5 0 0 1 .5-.5h2V0H2Zm2 10.5H2a.5.5 0 0 1-.5-.5V8H0v2a2 2 0 0 0 2 2h2v-1.5ZM8 12v-1.5h2a.5.5 0 0 0 .5-.5V8H12v2a2 2 0 0 1-2 2H8Zm2-12a2 2 0 0 1 2 2v2h-1.5V2a.5.5 0 0 0-.5-.5H8V0h2Z" />
			</svg>
		</button></figure>
<h2 class="wp-block-heading">默认本地推理，按需调用前沿模型</h2>
<p class="wp-block-paragraph">Spectro Cloud 为 Instinct Coder 355 提供了配套的 PaletteAI Inference Launchpad 管理软件，默认调用本地算力而非云端 API。当本地推理能力不足时，系统可将任务路由至 Anthropic Claude、OpenAI GPT 或 Google Gemini 等前沿模型作为补充。</p>
<p class="wp-block-paragraph">在成本与合规的双重压力下，将推理能力留在企业内部的趋势正在显现。Spectro Cloud 称，相比云端前沿模型，该设备最多可将 AI 编程的 token 成本降低 75%，同时交付接近前沿模型 98% 的基准性能。</p>
<h2 class="wp-block-heading">定位与意义</h2>
<p class="wp-block-paragraph">Instinct Coder 355 延续了此前 Instinct Coder 325 的方向，主打&#8221;本地优先&#8221;的企业 AI 编程路径：把适合本地处理的代码生成、测试编写、文档整理与常规代码审查留在企业内网，仅在确有必要时才调用外部前沿服务。对于重视代码与数据不出域、希望控制 AI 编程开销的企业而言，这类一体化设备提供了一条可落地的路径。</p>]]></content:encoded>
					
		
		
			</item>
		<item>
		<title>奥尔特曼谈内存短缺：玩家电脑里的闲置内存是浪费</title>
		<link>https://mylogs.cn/%e5%a5%a5%e5%b0%94%e7%89%b9%e6%9b%bc%e8%b0%88%e5%86%85%e5%ad%98%e7%9f%ad%e7%bc%ba%ef%bc%9a%e7%8e%a9%e5%ae%b6%e7%94%b5%e8%84%91%e9%87%8c%e7%9a%84%e9%97%b2%e7%bd%ae%e5%86%85%e5%ad%98%e6%98%af%e6%b5%aa/</link>
		
		<dc:creator><![CDATA[steve, zhang]]></dc:creator>
		<pubDate>Sat, 31 Oct 2026 07:34:31 +0000</pubDate>
				<category><![CDATA[科技]]></category>
		<category><![CDATA[DRAM]]></category>
		<category><![CDATA[OpenAI]]></category>
		<category><![CDATA[内存短缺]]></category>
		<category><![CDATA[奥尔特曼]]></category>
		<category><![CDATA[数据中心]]></category>
		<category><![CDATA[本地推理]]></category>
		<guid isPermaLink="false">https://mylogs.cn/%e5%a5%a5%e5%b0%94%e7%89%b9%e6%9b%bc%e8%b0%88%e5%86%85%e5%ad%98%e7%9f%ad%e7%bc%ba%ef%bc%9a%e7%8e%a9%e5%ae%b6%e7%94%b5%e8%84%91%e9%87%8c%e7%9a%84%e9%97%b2%e7%bd%ae%e5%86%85%e5%ad%98%e6%98%af%e6%b5%aa/</guid>

					<description><![CDATA[争议焦点：内存该放云端还是留在本地 OpenAI 首席执行官萨姆·奥尔特曼在 10 月 30 日播出的 You [&#8230;]]]></description>
										<content:encoded><![CDATA[<h2 class="wp-block-heading">争议焦点：内存该放云端还是留在本地</h2>
<p class="wp-block-paragraph">OpenAI 首席执行官萨姆·奥尔特曼在 10 月 30 日播出的 YouTube 播客节目《Cheeky Pint》访谈中，就全球算力供应链问题表达了鲜明观点。他认为，在动态随机存取存储器（DRAM）供应紧张的背景下，把大量内存集中在利用率更高的数据中心，比分散在个人电脑中更合理。</p>
<p class="wp-block-paragraph">奥尔特曼指出，随着开源模型的发展，越来越多用户希望在自己的电脑上直接运行人工智能推理，以减少对云端服务的依赖。但他从全球资源分配的角度反驳了这种直觉：“如果每个人都在自己的电脑里占用大量有限的内存，而这些内存可能只有 5% 的时间在被使用，这实际上非常糟糕。如果要应对这种严重供应受限的局面，就应该让云端的资源得到最大程度的利用，但大多数人的直觉却恰恰相反。”</p>
<h2 class="wp-block-heading">供应链现实：巨头已锁定未来产能</h2>
<p class="wp-block-paragraph">奥尔特曼的逻辑背后是真实的产能分配。三星与 SK 海力士等内存厂商，已经与云计算运营商以及 OpenAI 的“星际之门”（Stargate）等超大规模项目签订了长期供货协议，锁定了未来数年全球很大一部分内存产出。这也解释了为什么近一年来笔记本电脑、手机等消费电子产品的价格持续走高——当高端内存优先流向数据中心，终端消费者的采购成本随之上升。</p>
<h2 class="wp-block-heading">两种路线的取舍</h2>
<p class="wp-block-paragraph">支持本地推理的一方认为，把模型放在个人设备上有隐私、离线可用和自主可控的优势；而奥尔特曼代表的云端路线则强调利用率与规模效应。两种思路并非完全对立：轻量模型在手机、笔记本电脑上本地运行，与重量级模型在数据中心集中调度，完全可以并存。但在内存总量受限的当下，资源如何分配，正在成为人工智能基础设施竞争的核心议题。</p>
<h2 class="wp-block-heading">部署方式对比</h2>
<figure class="wp-block-table"><table><thead><tr><th>部署方式</th><th>典型利用率</th><th>优势</th><th>短板</th></tr></thead><tbody><tr><td>数据中心集中部署</td><td>接近全天候</td><td>利用率高、易扩展</td><td>依赖网络与云服务</td></tr><tr><td>个人电脑本地运行</td><td>约 5%</td><td>隐私好、离线可用</td><td>占用闲置内存、成本高</td></tr></tbody></table></figure>
<h2 class="wp-block-heading">常见问题</h2>
<p class="wp-block-paragraph">问：奥尔特曼为什么反对本地运行人工智能模型？ 答：他认为在内存供应受限时，把内存集中在数据中心可以获得更高利用率，比分散在多数时间闲置的个人电脑中更有效率。</p>
<p class="wp-block-paragraph">问：这一说法对普通消费者有什么影响？ 答：高端内存向数据中心倾斜，会推高笔记本电脑、手机等设备的零部件成本，消费者购买电子产品的价格可能维持高位。</p>
<h2 class="wp-block-heading">信息来源</h2>
<p class="wp-block-paragraph">本文综合 IT之家对《Cheeky Pint》播客访谈的报道，以及 The Verge、Tom&#8217;s Hardware 等海外科技媒体的转述与原文引述。</p>
<figure data-wp-context="{&quot;imageId&quot;:&quot;6af7da0775a27&quot;}" data-wp-interactive="core/image" data-wp-key="6af7da0775a27" class="wp-block-image wp-lightbox-container"><img decoding="async" data-wp-class--hide="state.isContentHidden" data-wp-class--show="state.isContentVisible" data-wp-init="callbacks.setButtonStyles" data-wp-on--click="actions.showLightbox" data-wp-on--load="callbacks.setButtonStyles" data-wp-on--pointerdown="actions.preloadImage" data-wp-on--pointerenter="actions.preloadImageWithDelay" data-wp-on--pointerleave="actions.cancelPreload" data-wp-on-window--resize="callbacks.setButtonStyles" src="https://mylogs.cn/wp-content/uploads/2026/10/a993ca4be3378a916b4cb632ebbfbcbe_header.webp" alt="奥尔特曼在播客中谈内存分配" title="图片来源：IT之家" style="max-width:100%;height:auto;"/><button
			class="lightbox-trigger"
			type="button"
			aria-haspopup="dialog"
			data-wp-bind--aria-label="state.thisImage.triggerButtonAriaLabel"
			data-wp-init="callbacks.initTriggerButton"
			data-wp-on--click="actions.showLightbox"
			data-wp-style--right="state.thisImage.buttonRight"
			data-wp-style--top="state.thisImage.buttonTop"
		>
			<svg xmlns="http://www.w3.org/2000/svg" width="12" height="12" fill="none" viewBox="0 0 12 12">
				<path fill="#fff" d="M2 0a2 2 0 0 0-2 2v2h1.5V2a.5.5 0 0 1 .5-.5h2V0H2Zm2 10.5H2a.5.5 0 0 1-.5-.5V8H0v2a2 2 0 0 0 2 2h2v-1.5ZM8 12v-1.5h2a.5.5 0 0 0 .5-.5V8H12v2a2 2 0 0 1-2 2H8Zm2-12a2 2 0 0 1 2 2v2h-1.5V2a.5.5 0 0 0-.5-.5H8V0h2Z" />
			</svg>
		</button></figure>]]></content:encoded>
					
		
		
			</item>
		<item>
		<title>微软 Win11 原生支持 GGUF 本地大模型推理</title>
		<link>https://mylogs.cn/%e5%be%ae%e8%bd%af-win11-%e5%8e%9f%e7%94%9f%e6%94%af%e6%8c%81-gguf-%e6%9c%ac%e5%9c%b0%e5%a4%a7%e6%a8%a1%e5%9e%8b%e6%8e%a8%e7%90%86/</link>
		
		<dc:creator><![CDATA[steve, zhang]]></dc:creator>
		<pubDate>Fri, 09 Oct 2026 05:02:18 +0000</pubDate>
				<category><![CDATA[科技]]></category>
		<category><![CDATA[GGUF]]></category>
		<category><![CDATA[llama.cpp]]></category>
		<category><![CDATA[ONNX]]></category>
		<category><![CDATA[Windows 11]]></category>
		<category><![CDATA[Windows ML]]></category>
		<category><![CDATA[本地推理]]></category>
		<guid isPermaLink="false">https://mylogs.cn/%e5%be%ae%e8%bd%af-win11-%e5%8e%9f%e7%94%9f%e6%94%af%e6%8c%81-gguf-%e6%9c%ac%e5%9c%b0%e5%a4%a7%e6%a8%a1%e5%9e%8b%e6%8e%a8%e7%90%86/</guid>

					<description><![CDATA[微软把本地大模型塞进系统层 科技媒体 NeoWin 于 10 月 8 日报道，微软正与开源项目 llama.c [&#8230;]]]></description>
										<content:encoded><![CDATA[<figure data-wp-context="{&quot;imageId&quot;:&quot;6af7da077641d&quot;}" data-wp-interactive="core/image" data-wp-key="6af7da077641d" class="wp-block-image wp-lightbox-container"><img decoding="async" data-wp-class--hide="state.isContentHidden" data-wp-class--show="state.isContentVisible" data-wp-init="callbacks.setButtonStyles" data-wp-on--click="actions.showLightbox" data-wp-on--load="callbacks.setButtonStyles" data-wp-on--pointerdown="actions.preloadImage" data-wp-on--pointerenter="actions.preloadImageWithDelay" data-wp-on--pointerleave="actions.cancelPreload" data-wp-on-window--resize="callbacks.setButtonStyles" src="https://mylogs.cn/wp-content/uploads/2026/10/win11_windowsml_20261009_header.webp" alt="Windows 11 本地 AI 推理概念图" title="图片来源：AI 生成" style="max-width:100%;height:auto;"/><button
			class="lightbox-trigger"
			type="button"
			aria-haspopup="dialog"
			data-wp-bind--aria-label="state.thisImage.triggerButtonAriaLabel"
			data-wp-init="callbacks.initTriggerButton"
			data-wp-on--click="actions.showLightbox"
			data-wp-style--right="state.thisImage.buttonRight"
			data-wp-style--top="state.thisImage.buttonTop"
		>
			<svg xmlns="http://www.w3.org/2000/svg" width="12" height="12" fill="none" viewBox="0 0 12 12">
				<path fill="#fff" d="M2 0a2 2 0 0 0-2 2v2h1.5V2a.5.5 0 0 1 .5-.5h2V0H2Zm2 10.5H2a.5.5 0 0 1-.5-.5V8H0v2a2 2 0 0 0 2 2h2v-1.5ZM8 12v-1.5h2a.5.5 0 0 0 .5-.5V8H12v2a2 2 0 0 1-2 2H8Zm2-12a2 2 0 0 1 2 2v2h-1.5V2a.5.5 0 0 0-.5-.5H8V0h2Z" />
			</svg>
		</button></figure>
<h2 class="wp-block-heading">微软把本地大模型塞进系统层</h2>
<p class="wp-block-paragraph">科技媒体 NeoWin 于 10 月 8 日报道，微软正与开源项目 llama.cpp 及 GGUF 社区合作，升级面向 Windows 11 的本地人工智能推理框架 Windows ML，实验性地原生支持 GGUF 与 ONNX 两类模型格式的本地推理，并推出 Windows ML Runtime API。相关进展在 Windows 与 Surface 十月活动上作了介绍。</p>
<p class="wp-block-paragraph">Windows ML 是微软面向 Windows 11 的本地人工智能推理框架，开发者可在设备端直接运行人工智能模型，构建文本生成、语音识别等应用，并减少对特定硬件优化的依赖。</p>
<h2 class="wp-block-heading">从 Hugging Face 导入，在本地运行</h2>
<p class="wp-block-paragraph">微软表示，通过社区合作，开发者现在可以借助 llama.cpp 的实验性集成，从开源模型平台 Hugging Face 导入 GGUF 模型并直接在本地运行。在性能方面，微软还携手英伟达公司向 llama.cpp 及相关性能优化贡献代码。</p>
<p class="wp-block-paragraph">Windows ML 新增的实验性 Windows 原生推理路径，可同时运行 ONNX 与 GGUF 两类模型。该路径正式名称为 Windows ML Runtime API，微软称其具备更高性能、更深的系统集成以及更细粒度的控制能力。</p>
<h2 class="wp-block-heading">两种格式，各自是什么</h2>
<p class="wp-block-paragraph">GGUF 是本地运行大语言模型常用的模型文件格式，开发者可从 Hugging Face 等平台获取相关模型，并通过 llama.cpp 等工具在个人电脑上加载与推理。ONNX 则是用于在不同框架和硬件之间迁移人工智能模型的开放神经网络交换格式，其常用运行环境为 ONNX Runtime。</p>
<p class="wp-block-paragraph">在 Windows ML Runtime API 的支持下，微软同时推出文本生成接口 TextGenerationAPI 与语音识别接口 SpeechRecognitionAPI，开发者可基于这两组接口在 Windows 应用中集成文本生成与语音识别功能。</p>
<p class="wp-block-paragraph">微软表示，ONNX Runtime API 仍获得完整支持，未来针对 Windows 的优化将优先投向 Windows ML Runtime API。两种运行时均已包含在当前版本中，开发者可按自己的熟悉程度选择迁移时机。</p>
<p class="wp-block-paragraph">对端侧应用开发者而言，本地人工智能推理从「自己搭环境」变成「系统自带能力」，意味着在个人电脑上跑大模型的关键一步——环境配置，被显著简化了。</p>]]></content:encoded>
					
		
		
			</item>
		<item>
		<title>英伟达发布 30B 开源模型：本地可跑、速度快 4 倍，专干智能体苦力活</title>
		<link>https://mylogs.cn/nvidia-nemotron-3-5-lightning-open-source/</link>
		
		<dc:creator><![CDATA[steve, zhang]]></dc:creator>
		<pubDate>Wed, 12 Aug 2026 02:24:11 +0000</pubDate>
				<category><![CDATA[科技]]></category>
		<category><![CDATA[AI算力]]></category>
		<category><![CDATA[MoE]]></category>
		<category><![CDATA[大模型]]></category>
		<category><![CDATA[开源模型]]></category>
		<category><![CDATA[智能体]]></category>
		<category><![CDATA[本地推理]]></category>
		<category><![CDATA[英伟达]]></category>
		<guid isPermaLink="false">https://mylogs.cn/nvidia-nemotron-3-5-lightning-open-source/</guid>

					<description><![CDATA[当地时间 8 月 11 日，英伟达发布了一款新的开源人工智能模型 Nemotron 3.5 Lightning [&#8230;]]]></description>
										<content:encoded><![CDATA[
<p class="wp-block-paragraph">当地时间 8 月 11 日，<a href="https://mylogs.cn/%e5%8f%b0%e7%a7%af%e7%94%b5-2nm-%e5%b9%b4%e5%ba%95%e6%9c%88%e4%ba%a7%e8%83%bd%e5%86%b2-12-%e4%b8%87%e7%89%87%ef%bc%8c%e6%8f%90%e5%89%8d%e4%b8%a4%e5%b9%b4%e8%be%be%e6%a0%87/">英伟达</a>发布了一款新的开源人工智能模型 Nemotron 3.5 Lightning，进一步扩充其 Nemotron 系列，并把重心放在了当下最热门的「智能体」工作负载上。</p>



<figure data-wp-context="{&quot;imageId&quot;:&quot;6af7da077734f&quot;}" data-wp-interactive="core/image" data-wp-key="6af7da077734f" class="wp-block-image size-large aligncenter wp-lightbox-container"><img fetchpriority="high" decoding="async" width="1024" height="576" data-wp-class--hide="state.isContentHidden" data-wp-class--show="state.isContentVisible" data-wp-init="callbacks.setButtonStyles" data-wp-on--click="actions.showLightbox" data-wp-on--load="callbacks.setButtonStyles" data-wp-on--pointerdown="actions.preloadImage" data-wp-on--pointerenter="actions.preloadImageWithDelay" data-wp-on--pointerleave="actions.cancelPreload" data-wp-on-window--resize="callbacks.setButtonStyles" src="https://mylogs.cn/wp-content/uploads/2026/08/8fa335c4f062e69c417cebfec4a4f52d_header.webp" alt="英伟达发布 30B 开源模型：本地可跑、速度快 4 倍，专干智能体苦力活" class="wp-image-4524" style="max-width:100%;height:auto" srcset="https://mylogs.cn/wp-content/uploads/2026/08/8fa335c4f062e69c417cebfec4a4f52d_header.webp 1024w, https://mylogs.cn/wp-content/uploads/2026/08/8fa335c4f062e69c417cebfec4a4f52d_header-300x169.webp 300w, https://mylogs.cn/wp-content/uploads/2026/08/8fa335c4f062e69c417cebfec4a4f52d_header-768x432.webp 768w" sizes="(max-width: 1024px) 100vw, 1024px" /><button
			class="lightbox-trigger"
			type="button"
			aria-haspopup="dialog"
			data-wp-bind--aria-label="state.thisImage.triggerButtonAriaLabel"
			data-wp-init="callbacks.initTriggerButton"
			data-wp-on--click="actions.showLightbox"
			data-wp-style--right="state.thisImage.buttonRight"
			data-wp-style--top="state.thisImage.buttonTop"
		>
			<svg xmlns="http://www.w3.org/2000/svg" width="12" height="12" fill="none" viewBox="0 0 12 12">
				<path fill="#fff" d="M2 0a2 2 0 0 0-2 2v2h1.5V2a.5.5 0 0 1 .5-.5h2V0H2Zm2 10.5H2a.5.5 0 0 1-.5-.5V8H0v2a2 2 0 0 0 2 2h2v-1.5ZM8 12v-1.5h2a.5.5 0 0 0 .5-.5V8H12v2a2 2 0 0 1-2 2H8Zm2-12a2 2 0 0 1 2 2v2h-1.5V2a.5.5 0 0 0-.5-.5H8V0h2Z" />
			</svg>
		</button><figcaption class="wp-element-caption">图片来源：NVIDIA</figcaption></figure>





<p class="wp-block-paragraph">与动辄几千亿参数的旗舰大模型不同，这款模型走的是「小而快、专干执行层苦力活」的路线。英伟达给它的定位，不是负责复杂规划的「大脑」，而是在多智能体系统里承担代码审查、安全监控、数据处理等高频、重复、对速度与成本极其敏感的执行任务。</p>



<h2 class="wp-block-heading">300 亿参数，每次只激活 30 亿</h2>



<p class="wp-block-paragraph">Nemotron 3.5 Lightning 采用混合专家（MoE）架构，总参数为三百亿，但每次推理只激活约三十亿参数。这种「总量大、激活小」的设计，让它在资源占用与推理效率之间找到了新的平衡点。</p>



<p class="wp-block-paragraph">英伟达称，与同级别开源模型相比，它的输出速度最高可提升四倍，相应地把智能体任务的整體完成速度加快约三成。需要指出的是，单项输出速度提升明显，但由于多智能体协作中存在通信与调度开销，整体任务的加速比并没有达到四倍——这也是它被定位为「特定任务」加速器，而非通用全流程加速器的原因。</p>



<p class="wp-block-paragraph">在基准测试方面，该模型在 PinchBench 上拿到 86 分，与 <a href="https://mylogs.cn/chatgpt-pro-%e9%87%8d%e5%bc%80-200-%e7%be%8e%e5%85%83%e6%a1%a3%ef%bc%9aapi-%e4%bb%b7%e5%80%bc%e8%bf%91%e7%bf%bb%e5%80%8d/">OpenAI</a> 的 gpt-oss-120b 相当，仅落后规模为其四倍的 Nemotron-Super 两分。英伟达强调，它的核心价值不在绝对性能排名，而在智能体工作流里的执行效率。</p>



<h2 class="wp-block-heading">本地就能跑，还能自动路由</h2>



<p class="wp-block-paragraph">部署门槛是这款模型的一大卖点。它可以直接运行在本地 AI 设备上，包括搭载 RTX 显卡的 PC、DGX Spark、Jetson 边缘设备，也能扩展到<a href="https://mylogs.cn/ai-%e6%99%ba%e8%83%bd%e4%bd%93%e5%bc%95%e7%88%86%e9%9c%80%e6%b1%82%ef%bc%9a%e6%9c%8d%e5%8a%a1%e5%99%a8-cpu-%e4%ba%a4%e4%bb%98%e8%a6%81%e7%ad%89-30-%e5%91%a8/">数据中心</a>与云端。发布当天，vLLM、Ollama、llama.cpp 与 LM Studio 等主流推理框架即宣布提供支持。</p>



<p class="wp-block-paragraph">英伟达同时放出了配套的 NeMo Switchyard 路由库。它允许开发者定义模型池与路由策略，把工作流的每一步调度到最合适的模型上。内部基准显示，借助路由，系统能在维持前沿级任务完成度的同时，把成本压到单独运行 Opus 4.8 的大约三分之一。已有企业在真实场景中验证这套方案：LangChain 在一百四十四个多轮智能体任务里，仅把百分之七的调用量路由给前沿模型，就实现了百分之七十四的成本下降；Ramp 在 SWE-Bench 基准上匹配了前沿模型性能，同时降低百分之五十八的成本与百分之三十三的运行时间。</p>



<h2 class="wp-block-heading">从卖芯片到卖整套 AI 工作流</h2>



<p class="wp-block-paragraph">多家媒体指出，Nemotron 3.5 Lightning 与 Switchyard 的打包推出，标志着英伟达正从单纯的硬件供应商，向全栈 AI 生态服务商实质性转型。当企业 <a href="https://mylogs.cn/%e8%85%be%e8%ae%af%e5%86%85%e6%b5%8b-ai-%e6%b8%b8%e6%88%8f%e6%90%ad%e5%ad%90%e9%b9%85%e6%ac%a1%e5%85%83%ef%bc%9a%e6%95%b0%e5%ad%97%e4%ba%ba%e9%99%aa%e4%bd%a0%e5%bc%80%e9%bb%91/">AI 应用</a>从「单模型对话」走向「多智能体协作」，执行层模型的市场空白正在被打开。</p>



<p class="wp-block-paragraph">值得注意的是，英伟达并未停下更大模型的脚步。据多家媒体报道，公司还在开发参数规模至少达到一万亿的开源模型 Nemotron 4，意图与全球领先的开源大模型正面竞争。对开发者而言，一个由芯片厂商主导、软硬件协同优化的开源模型生态，正在快速成形。</p>



<p class="has-small-font-size wp-block-paragraph">来源：CNBC / The New Stack / NVIDIA（2026 年 8 月 11 日）</p>

]]></content:encoded>
					
		
		
			</item>
		<item>
		<title>Redis 之父给 Mac 写了个 MiniMax H3 本地推理引擎</title>
		<link>https://mylogs.cn/antirez-h3c-minimax-h3-mac-local-inference/</link>
		
		<dc:creator><![CDATA[steve, zhang]]></dc:creator>
		<pubDate>Tue, 11 Aug 2026 04:45:09 +0000</pubDate>
				<category><![CDATA[科技]]></category>
		<category><![CDATA[antirez]]></category>
		<category><![CDATA[Apple Silicon]]></category>
		<category><![CDATA[H3]]></category>
		<category><![CDATA[MiniMax]]></category>
		<category><![CDATA[开源模型]]></category>
		<category><![CDATA[本地推理]]></category>
		<category><![CDATA[视频生成]]></category>
		<guid isPermaLink="false">https://mylogs.cn/antirez-h3c-minimax-h3-mac-local-inference/</guid>

					<description><![CDATA[Redis 作者 antirez（Salvatore Sanfilippo）近日在 GitHub 上发布了一个 [&#8230;]]]></description>
										<content:encoded><![CDATA[
<p class="wp-block-paragraph">Redis 作者 antirez（Salvatore Sanfilippo）近日在 GitHub 上发布了一个名为 h3.c 的项目，目标是为<a href="https://mylogs.cn/ai-%e5%8a%a0%e9%80%9f%e9%bb%91%e5%ae%a2%e5%b7%a5%e5%85%b7%ef%bc%8c%e8%8b%b9%e6%9e%9c%e7%b4%a7%e6%80%a5%e6%8f%90%e9%80%9f%e5%ae%89%e5%85%a8%e6%9b%b4%e6%96%b0/"><a href="https://mylogs.cn/%e5%8f%b0%e7%a7%af%e7%94%b5-2nm-%e5%b9%b4%e5%ba%95%e6%9c%88%e4%ba%a7%e8%83%bd%e5%86%b2-12-%e4%b8%87%e7%89%87%ef%bc%8c%e6%8f%90%e5%89%8d%e4%b8%a4%e5%b9%b4%e8%be%be%e6%a0%87/">苹果</a></a>电脑写一套原生的 MiniMax H3 推理引擎。与社区里基于 MLX 框架的移植不同，h3.c 从词法到 Metal 着色器几乎都用 C 和 Objective-C 重写，专门吃 Apple Silicon 的统一内存，让 Mac 在本地直接跑这个 33B 参数的全模态视频模型。</p>



<figure data-wp-context="{&quot;imageId&quot;:&quot;6af7da07782f2&quot;}" data-wp-interactive="core/image" data-wp-key="6af7da07782f2" class="wp-block-image size-large aligncenter wp-lightbox-container"><img decoding="async" width="1200" height="600" data-wp-class--hide="state.isContentHidden" data-wp-class--show="state.isContentVisible" data-wp-init="callbacks.setButtonStyles" data-wp-on--click="actions.showLightbox" data-wp-on--load="callbacks.setButtonStyles" data-wp-on--pointerdown="actions.preloadImage" data-wp-on--pointerenter="actions.preloadImageWithDelay" data-wp-on--pointerleave="actions.cancelPreload" data-wp-on-window--resize="callbacks.setButtonStyles" src="https://mylogs.cn/wp-content/uploads/2026/08/h3c_header.webp" alt="Redis 之父给 Mac 写了个 MiniMax H3 本地推理引擎" class="wp-image-4405" style="max-width:100%;height:auto" srcset="https://mylogs.cn/wp-content/uploads/2026/08/h3c_header.webp 1200w, https://mylogs.cn/wp-content/uploads/2026/08/h3c_header-300x150.webp 300w, https://mylogs.cn/wp-content/uploads/2026/08/h3c_header-1024x512.webp 1024w, https://mylogs.cn/wp-content/uploads/2026/08/h3c_header-768x384.webp 768w" sizes="(max-width: 1200px) 100vw, 1200px" /><button
			class="lightbox-trigger"
			type="button"
			aria-haspopup="dialog"
			data-wp-bind--aria-label="state.thisImage.triggerButtonAriaLabel"
			data-wp-init="callbacks.initTriggerButton"
			data-wp-on--click="actions.showLightbox"
			data-wp-style--right="state.thisImage.buttonRight"
			data-wp-style--top="state.thisImage.buttonTop"
		>
			<svg xmlns="http://www.w3.org/2000/svg" width="12" height="12" fill="none" viewBox="0 0 12 12">
				<path fill="#fff" d="M2 0a2 2 0 0 0-2 2v2h1.5V2a.5.5 0 0 1 .5-.5h2V0H2Zm2 10.5H2a.5.5 0 0 1-.5-.5V8H0v2a2 2 0 0 0 2 2h2v-1.5ZM8 12v-1.5h2a.5.5 0 0 0 .5-.5V8H12v2a2 2 0 0 1-2 2H8Zm2-12a2 2 0 0 1 2 2v2h-1.5V2a.5.5 0 0 0-.5-.5H8V0h2Z" />
			</svg>
		</button><figcaption class="wp-element-caption">图片来源：GitHub／antirez/h3.c 项目页</figcaption></figure>





<h2 class="wp-block-heading">为什么要在 Mac 上重造一个引擎</h2>



<p class="wp-block-paragraph">MiniMax 在 8 月 3 日把 H3 正式开源，这是一个能同时吃进文本、图像、音频、视频、再一次性吐出最长 15 秒带原生立体声视频的通用生成模型。官方提供了 Hugging Face 权重和基于 SGLang、MLX 等的参考实现，社区也很快出现了 PipeNetwork 的 MLX 移植版。</p>



<p class="wp-block-paragraph">但 antirez 选择了一条更硬核的路：不依赖现成框架，自己用 C 实现推理内核，再用 Metal 把矩阵运算落到苹果芯片的 GPU 上。这样做的好处是能精细控制统一内存的占用与复用——视频模型权重动辄上百 GB，能否塞进 Mac 的有限内存，取决于推理引擎怎么分批搬运张量。h3.c 目前仍在开发中，仓库显示它已能跑通提示词到视频、首尾帧约束，以及参考图、视频、音频的 Ref2VA 条件控制。</p>



<h2 class="wp-block-heading">速度能快多少</h2>



<p class="wp-block-paragraph">项目 README 里给出了一组在 M5 Max 上的实测。以一段 512 像素见方、22 帧的红狐踏雪短片为基准：用默认 20 步去噪需要约 26.4 秒；而采用 4 步的激进调度，耗时压缩到约 3.5 秒，画面对照 29 步参考稿的全片结构相似度（SSIM）仍有 0.556，独立的冲浪者测试为 0.547。换句话说，用不到七分之一的时间，就能拿到一个可用、但细节更糙的预览。</p>



<p class="wp-block-paragraph">模型核心是一个 33B 的稠密 Transformer（H3-Omni-Transformer），文本编码器复用 Qwen 系模型，权重以 BF16 精度常驻。在开启预览的激进配置下，峰值显存占用约 25.9 GiB（int8 估算）。仓库还提供多档预设：默认 20 步、最慢 50 步参考、最快 4 至 7 步，开发者可以一次只调一个旋钮来权衡速度与画质。</p>



<h2 class="wp-block-heading">能拿来做什么</h2>



<p class="wp-block-paragraph">h3.c 内置了一个类似 Iris 的交互会话：启动时加载模型与分词器，之后输入提示词即可连续生成，重复提示词换随机种子时不必重新加载。它支持首帧与末帧锚定，让镜头从 A 画面运动到 B 画面，也支持按顺序追加多张参考图，标记为图片 1、图片 2，让模型据此生成「让图片 1 里的人挥手」这类指令。</p>



<p class="wp-block-paragraph">分辨率方面，512×512 是被反复验证的开发尺寸，768p 级别的横竖构图也已验证，画布上限受机械限制约 768×1344。更短的 256 见方预览会自动降低空间位置编码频率，消除长镜头里出现的网格伪影。</p>



<p class="wp-block-paragraph">对普通用户而言，h3.c 的意义在于把在云端排队、按秒计费的视频生成，变成在自己电脑上离线跑的一件事。代价是需要一台内存充足的 Apple Silicon Mac，以及等待项目继续打磨工程完整度。antirez 本人以把复杂系统写到极简著称，h3.c 最终能否成为 Mac 上跑 H3 的默认选择，还要看后续的内存优化与稳定性。</p>



<p class="has-small-font-size wp-block-paragraph">来源：Hacker News | antirez | https://github.com/antirez/h3.c</p>

]]></content:encoded>
					
		
		
			</item>
		<item>
		<title>DeepSeek 塞进一张 AMD 卡，官方要四张</title>
		<link>https://mylogs.cn/deepseek-v4-flash-single-amd-mi300x/</link>
		
		<dc:creator><![CDATA[steve, zhang]]></dc:creator>
		<pubDate>Tue, 04 Aug 2026 18:10:51 +0000</pubDate>
				<category><![CDATA[科技]]></category>
		<category><![CDATA[AMD]]></category>
		<category><![CDATA[DeepSeek]]></category>
		<category><![CDATA[MI300X]]></category>
		<category><![CDATA[MoE]]></category>
		<category><![CDATA[大模型部署]]></category>
		<category><![CDATA[本地推理]]></category>
		<guid isPermaLink="false">https://mylogs.cn/deepseek-v4-flash-single-amd-mi300x/</guid>

					<description><![CDATA[你要是想在自己的机器上跑一套完整的 DeepSeek V4 Flash，官方给的部署方案会让你先准备一台四卡英 [&#8230;]]]></description>
										<content:encoded><![CDATA[
<p class="wp-block-paragraph">你要是想在自己的机器上跑一套完整的 DeepSeek V4 Flash，官方给的部署方案会让你先准备一台四卡<a href="https://mylogs.cn/%e5%8f%b0%e7%a7%af%e7%94%b5-2nm-%e5%b9%b4%e5%ba%95%e6%9c%88%e4%ba%a7%e8%83%bd%e5%86%b2-12-%e4%b8%87%e7%89%87%ef%bc%8c%e6%8f%90%e5%89%8d%e4%b8%a4%e5%b9%b4%e8%be%be%e6%a0%87/">英伟达</a>节点。现在有人把这件事压到了一张 AMD 卡上。</p>



<figure data-wp-context="{&quot;imageId&quot;:&quot;6af7da07793f3&quot;}" data-wp-interactive="core/image" data-wp-key="6af7da07793f3" class="wp-block-image size-large aligncenter wp-lightbox-container"><img decoding="async" width="1200" height="600" data-wp-class--hide="state.isContentHidden" data-wp-class--show="state.isContentVisible" data-wp-init="callbacks.setButtonStyles" data-wp-on--click="actions.showLightbox" data-wp-on--load="callbacks.setButtonStyles" data-wp-on--pointerdown="actions.preloadImage" data-wp-on--pointerenter="actions.preloadImageWithDelay" data-wp-on--pointerleave="actions.cancelPreload" data-wp-on-window--resize="callbacks.setButtonStyles" src="https://mylogs.cn/wp-content/uploads/2026/08/dd6249329030704c33281d7452768a9d_header.webp" alt="DeepSeek 塞进一张 AMD 卡，官方要四张" class="wp-image-3560" style="max-width:100%;height:auto" srcset="https://mylogs.cn/wp-content/uploads/2026/08/dd6249329030704c33281d7452768a9d_header.webp 1200w, https://mylogs.cn/wp-content/uploads/2026/08/dd6249329030704c33281d7452768a9d_header-300x150.webp 300w, https://mylogs.cn/wp-content/uploads/2026/08/dd6249329030704c33281d7452768a9d_header-1024x512.webp 1024w, https://mylogs.cn/wp-content/uploads/2026/08/dd6249329030704c33281d7452768a9d_header-768x384.webp 768w" sizes="(max-width: 1200px) 100vw, 1200px" /><button
			class="lightbox-trigger"
			type="button"
			aria-haspopup="dialog"
			data-wp-bind--aria-label="state.thisImage.triggerButtonAriaLabel"
			data-wp-init="callbacks.initTriggerButton"
			data-wp-on--click="actions.showLightbox"
			data-wp-style--right="state.thisImage.buttonRight"
			data-wp-style--top="state.thisImage.buttonTop"
		>
			<svg xmlns="http://www.w3.org/2000/svg" width="12" height="12" fill="none" viewBox="0 0 12 12">
				<path fill="#fff" d="M2 0a2 2 0 0 0-2 2v2h1.5V2a.5.5 0 0 1 .5-.5h2V0H2Zm2 10.5H2a.5.5 0 0 1-.5-.5V8H0v2a2 2 0 0 0 2 2h2v-1.5ZM8 12v-1.5h2a.5.5 0 0 0 .5-.5V8H12v2a2 2 0 0 1-2 2H8Zm2-12a2 2 0 0 1 2 2v2h-1.5V2a.5.5 0 0 0-.5-.5H8V0h2Z" />
			</svg>
		</button><figcaption class="wp-element-caption">图片来源：GitHub / ryanzhou 项目页</figcaption></figure>





<p class="wp-block-paragraph">这份配置最近登上 Hacker News，作者 Ryan Zhou 把整套东西开源在 GitHub 上：一张 AMD MI300X 显卡，直接跑官方发布的 deepseek-ai/DeepSeek-V4-Flash-0731 权重，不做额外量化，也不做分层卸载，模型以出厂状态运行。仓库里包含 Docker Compose 部署栈、锁定哈希值的文件覆盖层、对照上游的差异补丁和调优参数表。</p>



<h2 class="wp-block-heading">能塞下的原因是显存，不是<a href="https://mylogs.cn/ai-%e6%99%ba%e8%83%bd%e4%bd%93%e5%bc%95%e7%88%86%e9%9c%80%e6%b1%82%ef%bc%9a%e6%9c%8d%e5%8a%a1%e5%99%a8-cpu-%e4%ba%a4%e4%bb%98%e8%a6%81%e7%ad%89-30-%e5%91%a8/">算力</a></h2>



<p class="wp-block-paragraph">DeepSeek V4 Flash 是一个混合专家（MoE，指模型内部分成很多&#8221;专家&#8221;子网络，每个词只激活其中一小部分）架构的模型，基础设计 2840 亿参数、每个词激活 130 亿。0731 这一版额外附带了推测解码草稿模块，模型卡上标注的参数量因此是 3040 亿。它以 FP4 加 FP8 的混合精度发布——专家权重用四位、注意力和路由用八位——整个检查点在硬盘上约 149 GiB。</p>



<p class="wp-block-paragraph">这个数字正是关键。它装不进 H100 的 80GB，也装不进 H200 的 141GB，所以官方推荐方案要么四张 H200，要么一整块 GB200 NVL4 托盘。而 MI300X 有 192GB 显存和 5.3 TB/s 带宽，容量是 H100 SXM5 的 2.4 倍，刚好装得下。</p>



<p class="wp-block-paragraph">实际加载后，权重占 156.67 GiB，旁边还能放下 20GB 的键值缓存，另有 96 GiB 溢出到内存层，所以主机需要约 235 GiB 系统内存。显存峰值是 205.8GB 里的 204.5GB——余量不到一个 GB，非常紧。</p>



<h2 class="wp-block-heading">性能数据</h2>



<p class="wp-block-paragraph">作者给出的实测结果如下：单条流解码中位数 168.6 词元/秒；调优后的预填充速度约 7.9 到 8.5K 词元/秒；八条并发流合计 542 词元/秒，每条中位 90.3；六十四条流突发时合计 830 词元/秒，没有显存溢出，也没有引擎报错；上下文验证到 256K，架构本身支持 100 万。</p>



<p class="wp-block-paragraph">这些数字不是白来的。调优 21 个反复出现的矩阵乘形状，让单双流解码提升了 42% 到 62%，八到六十四流场景提升 10% 到 35%。融合 SiLU 激活加快速路由之后，原生解码从 34.5 提到 56.6 词元/秒，路由内核每层耗时从 42.6 微秒降到 11.9 微秒。还有一处很实用的调度改动：把调度预算设成 2048 词元、长预填充上限设成 1024 词元后，排在一个 5.2 万词元冷提示后面的短请求，首字延迟从 8.2 秒降到 0.5 秒。</p>



<h2 class="wp-block-heading">代价是九个补丁</h2>



<p class="wp-block-paragraph">真正值得注意的是这套东西为什么需要九个补丁覆盖层。</p>



<p class="wp-block-paragraph">一处是精度格式。MI300X 用的是 AMD 与 Graphcore 的 fnuz 变体八位浮点，而 MI325X 以及更新的卡用的是行业标准格式。一个假定标准格式的内核跑在 MI300X 上，缩放值可能直接差两倍。另一处更隐蔽：专家路由的位矩阵内核在填充块列时，掩码比对的是全局张量边界而不是逻辑块大小，高并发下填充通道会污染路由矩阵，表现出来是长提示下工具名字对不上、模式被遗忘——而这恰好是这个模型主打的智能体场景。修复只有一行。</p>



<p class="wp-block-paragraph">软件侧的落差同样明显。vLLM 在 v0.21.0 的发布说明里声称支持 DeepSeek V4 的 ROCm 版本，但官方镜像在 AMD 硬件上启动就崩，报错指向一个只有英伟达 Hopper 架构才有的特性，与此同时官方配方仓库把所有 AMD 型号标为不支持。到 vLLM 0.25，官方配方验证了 MI325X，但只在张量并行度 1、4K 上下文下。MI300X——这张在 AMD 自家开发者云上 1.99 美元一小时就能租到的卡——至今不在官方支持矩阵里。</p>



<h2 class="wp-block-heading">我的判断</h2>



<p class="wp-block-paragraph">AMD 那笔硬件账其实早就算得过来了：内存受限的混合专家推理场景，单卡显存容量才是硬约束，而 AMD 卖的就是更大的容量，MI325X 到了 256GB，MI355X 是 288GB。真正拖后腿的是硬件之下的那一层。</p>



<p class="wp-block-paragraph">一个人花九个补丁、一套自建调优表填上的这段路，本该由芯片厂商自己走完。对准备用 AMD 卡做推理的团队来说，这份仓库是难得的参考；但它同时也是一份并不好看的进度报告。</p>



<p class="wp-block-paragraph">你所在的团队评估过 AMD 卡做推理吗，卡在了哪一步？</p>



<p class="has-small-font-size wp-block-paragraph">来源：GitHub / ryanzhou 项目页，Hacker News</p>

]]></content:encoded>
					
		
		
			</item>
	</channel>
</rss>
