<?xml version="1.0" encoding="UTF-8"?><rss version="2.0"
	xmlns:content="http://purl.org/rss/1.0/modules/content/"
	xmlns:wfw="http://wellformedweb.org/CommentAPI/"
	xmlns:dc="http://purl.org/dc/elements/1.1/"
	xmlns:atom="http://www.w3.org/2005/Atom"
	xmlns:sy="http://purl.org/rss/1.0/modules/syndication/"
	xmlns:slash="http://purl.org/rss/1.0/modules/slash/"
	>

<channel>
	<title>llama.cpp &#8211; mylogs.cn</title>
	<atom:link href="https://mylogs.cn/tag/llama-cpp/feed/" rel="self" type="application/rss+xml" />
	<link>https://mylogs.cn</link>
	<description>发现、记录、分享</description>
	<lastBuildDate>Sat, 14 Nov 2026 06:59:47 +0000</lastBuildDate>
	<language>zh-Hans</language>
	<sy:updatePeriod>
	hourly	</sy:updatePeriod>
	<sy:updateFrequency>
	1	</sy:updateFrequency>
	
	<item>
		<title>llama.cpp 1.0.0 发布：支持超 150 种模型</title>
		<link>https://mylogs.cn/llama-cpp-1-0-0-%e5%8f%91%e5%b8%83%ef%bc%9a%e6%94%af%e6%8c%81%e8%b6%85-150-%e7%a7%8d%e6%a8%a1%e5%9e%8b/</link>
		
		<dc:creator><![CDATA[steve, zhang]]></dc:creator>
		<pubDate>Sat, 14 Nov 2026 06:59:47 +0000</pubDate>
				<category><![CDATA[科技]]></category>
		<category><![CDATA[llama.cpp]]></category>
		<category><![CDATA[大语言模型]]></category>
		<category><![CDATA[开源]]></category>
		<category><![CDATA[本地推理]]></category>
		<guid isPermaLink="false">https://mylogs.cn/llama-cpp-1-0-0-%e5%8f%91%e5%b8%83%ef%bc%9a%e6%94%af%e6%8c%81%e8%b6%85-150-%e7%a7%8d%e6%a8%a1%e5%9e%8b/</guid>

					<description><![CDATA[结论：llama.cpp 与 ggml 在 2026-11-13 发布 1.0.0，确立版本兼容规则，已支持超 [&#8230;]]]></description>
										<content:encoded><![CDATA[<p class="wp-block-paragraph"><strong>结论</strong>：llama.cpp 与 ggml 在 2026-11-13 发布 1.0.0，确立版本兼容规则，已支持超 150 种模型架构。<br><strong>关键数字</strong>：版本 1.0.0 / 模型架构超 150 种 / 获 6 家芯片厂商测试支持。</p>
<figure class="wp-block-table"><table><thead><tr><th>维度</th><th>1.0.0 规则</th><th>含义</th></tr></thead><tbody><tr><td>MAJOR</td><td>1.x.x → 2.0.0</td><td>/include 公共 C API 破坏性变更</td></tr><tr><td>MINOR</td><td>1.0.x → 1.1.0</td><td>向后兼容功能、后端/模型/API 新增</td></tr><tr><td>PATCH</td><td>1.0.0 → 1.0.1</td><td>仅 bug 修复，不改 API</td></tr><tr><td>模型支持</td><td>超 150 种架构变体</td><td>含主流推测解码方法</td></tr></tbody></table></figure>
<figure data-wp-context="{&quot;imageId&quot;:&quot;6b015fb5978a3&quot;}" data-wp-interactive="core/image" data-wp-key="6b015fb5978a3" class="wp-block-image wp-lightbox-container"><img decoding="async" data-wp-class--hide="state.isContentHidden" data-wp-class--show="state.isContentVisible" data-wp-init="callbacks.setButtonStyles" data-wp-on--click="actions.showLightbox" data-wp-on--load="callbacks.setButtonStyles" data-wp-on--pointerdown="actions.preloadImage" data-wp-on--pointerenter="actions.preloadImageWithDelay" data-wp-on--pointerleave="actions.cancelPreload" data-wp-on-window--resize="callbacks.setButtonStyles" src="https://mylogs.cn/wp-content/uploads/2026/11/body_llamacpp-100-20261114.webp" alt="llama.cpp 1.0.0 发布示意" style="max-width:100%;height:auto;"/><button
			class="lightbox-trigger"
			type="button"
			aria-haspopup="dialog"
			data-wp-bind--aria-label="state.thisImage.triggerButtonAriaLabel"
			data-wp-init="callbacks.initTriggerButton"
			data-wp-on--click="actions.showLightbox"
			data-wp-style--right="state.thisImage.buttonRight"
			data-wp-style--top="state.thisImage.buttonTop"
		>
			<svg xmlns="http://www.w3.org/2000/svg" width="12" height="12" fill="none" viewBox="0 0 12 12">
				<path fill="#fff" d="M2 0a2 2 0 0 0-2 2v2h1.5V2a.5.5 0 0 1 .5-.5h2V0H2Zm2 10.5H2a.5.5 0 0 1-.5-.5V8H0v2a2 2 0 0 0 2 2h2v-1.5ZM8 12v-1.5h2a.5.5 0 0 0 .5-.5V8H12v2a2 2 0 0 1-2 2H8Zm2-12a2 2 0 0 1 2 2v2h-1.5V2a.5.5 0 0 0-.5-.5H8V0h2Z" />
			</svg>
		</button><figcaption>图片来源：IT之家</figcaption></figure>
<h2 class="wp-block-heading">为什么 1.0.0 对开发者重要</h2>
<p class="wp-block-paragraph">此前版本号不标记兼容性，依赖这些库的应用难以判断升级边界；现在 MAJOR 专用于 API 或 ABI 不兼容的变更。</p>
<p class="wp-block-paragraph">应用可从版本号直接判断某次升级是否要求同步修改代码，降低集成与维护的不确定性。</p>
<h2 class="wp-block-heading">150 种模型架构背后的硬件版图</h2>
<p class="wp-block-paragraph">llama.cpp 已支持超过 150 种模型架构变体及主流推测解码方法，覆盖英伟达、AMD、高通、Arm、IBM、英特尔六大厂商。</p>
<p class="wp-block-paragraph">ggml 通过专用后端支持不同硬件，每个后端可编译为动态库并按需在运行时加载；团队在各厂商硬件支持下扩大跨平台测试。</p>
<h2 class="wp-block-heading">工程质量：持续集成与模型使用的取舍</h2>
<p class="wp-block-paragraph">团队使用 Hugging Face 的 HF Buckets、HF Jobs 扩展持续集成基础设施，并在六大厂商硬件支持下增加自托管测试运行器。</p>
<p class="wp-block-paragraph">官方强调在开发流程中审慎使用大模型，把代码质量、架构控制与对实现细节的理解放在首位。</p>
<p class="wp-block-paragraph">llama.cpp 1.0.0 适合在本地或边缘设备运行大模型的开发者，以及需要稳定推理接口的下游项目。</p>
<p class="wp-block-paragraph">这意味着本地推理从&#8221;能用&#8221;走向&#8221;可长期维护&#8221;，版本规则降低了下游集成与升级的风险，有利于生态沉淀。</p>
<h2 class="wp-block-heading">常见问题</h2>
<h3 class="wp-block-heading">1.0.0 会让我现有的程序跑不了吗？</h3>
<p class="wp-block-paragraph">不会立即破坏。MAJOR 升级（如未来 2.0.0）才标记 API 或 ABI 不兼容；1.0.x 的 MINOR 与 PATCH 均向后兼容。</p>
<h3 class="wp-block-heading">llama.cpp 和 ggml 是什么关系？</h3>
<p class="wp-block-paragraph">llama.cpp（libllama）是上层 C/C++ 大模型推理库，ggml（libggml）是底层机器学习张量库；两者同步迈入 1.0.0 并共用版本规则。</p>
<p class="wp-block-paragraph"><em>信息来源：IT之家 2026-11-14 报道《本地推理引擎 llama.cpp 1.0.0 史诗级更新》（作者故渊），原始信源为 Gerganov 2026-11-13 X 平台推文。</em></p>]]></content:encoded>
					
		
		
			</item>
		<item>
		<title>llama.cpp 1.0.0 发布：支持 150+ 架构，本地推理更稳</title>
		<link>https://mylogs.cn/llama-cpp-1-0-0-%e5%8f%91%e5%b8%83%ef%bc%9a%e6%94%af%e6%8c%81-150-%e6%9e%b6%e6%9e%84%ef%bc%8c%e6%9c%ac%e5%9c%b0%e6%8e%a8%e7%90%86%e6%9b%b4%e7%a8%b3/</link>
		
		<dc:creator><![CDATA[steve, zhang]]></dc:creator>
		<pubDate>Sat, 14 Nov 2026 05:45:10 +0000</pubDate>
				<category><![CDATA[科技]]></category>
		<category><![CDATA[AI推理]]></category>
		<category><![CDATA[llama.cpp]]></category>
		<category><![CDATA[大模型]]></category>
		<category><![CDATA[开发者工具]]></category>
		<category><![CDATA[开源]]></category>
		<category><![CDATA[本地推理]]></category>
		<guid isPermaLink="false">https://mylogs.cn/llama-cpp-1-0-0-%e5%8f%91%e5%b8%83%ef%bc%9a%e6%94%af%e6%8c%81-150-%e6%9e%b6%e6%9e%84%ef%bc%8c%e6%9c%ac%e5%9c%b0%e6%8e%a8%e7%90%86%e6%9b%b4%e7%a8%b3/</guid>

					<description><![CDATA[IT之家 11 月 14 日消息，开发者 Georgi Gerganov（X 平台账号 @ggerganov） [&#8230;]]]></description>
										<content:encoded><![CDATA[<p class="wp-block-paragraph">IT之家 11 月 14 日消息，开发者 Georgi Gerganov（X 平台账号 @ggerganov）于 11 月 13 日在 X 平台发布推文，宣布开源 AI 推理项目 llama.cpp 与底层机器学习引擎 ggml 的库版本正式迈入 1.0.0。对于广大在个人电脑和服务器上本地运行大模型的开发者而言，这次更新意味着这套基础软件进入了更清晰的稳定阶段。</p><figure data-wp-context="{&quot;imageId&quot;:&quot;6b015fb59867c&quot;}" data-wp-interactive="core/image" data-wp-key="6b015fb59867c" class="wp-block-image wp-lightbox-container"><img decoding="async" data-wp-class--hide="state.isContentHidden" data-wp-class--show="state.isContentVisible" data-wp-init="callbacks.setButtonStyles" data-wp-on--click="actions.showLightbox" data-wp-on--load="callbacks.setButtonStyles" data-wp-on--pointerdown="actions.preloadImage" data-wp-on--pointerenter="actions.preloadImageWithDelay" data-wp-on--pointerleave="actions.cancelPreload" data-wp-on-window--resize="callbacks.setButtonStyles" src="https://mylogs.cn/wp-content/uploads/2026/11/85a580ce72203a4084dcf6ff22f048c8_in0.webp" alt="llama.cpp 创建者 Georgi Gerganov 在 X 平台宣布 1.0.0" title="图片来源：IT之家" style="max-width:100%;height:auto;"/><button
			class="lightbox-trigger"
			type="button"
			aria-haspopup="dialog"
			data-wp-bind--aria-label="state.thisImage.triggerButtonAriaLabel"
			data-wp-init="callbacks.initTriggerButton"
			data-wp-on--click="actions.showLightbox"
			data-wp-style--right="state.thisImage.buttonRight"
			data-wp-style--top="state.thisImage.buttonTop"
		>
			<svg xmlns="http://www.w3.org/2000/svg" width="12" height="12" fill="none" viewBox="0 0 12 12">
				<path fill="#fff" d="M2 0a2 2 0 0 0-2 2v2h1.5V2a.5.5 0 0 1 .5-.5h2V0H2Zm2 10.5H2a.5.5 0 0 1-.5-.5V8H0v2a2 2 0 0 0 2 2h2v-1.5ZM8 12v-1.5h2a.5.5 0 0 0 .5-.5V8H12v2a2 2 0 0 1-2 2H8Zm2-12a2 2 0 0 1 2 2v2h-1.5V2a.5.5 0 0 0-.5-.5H8V0h2Z" />
			</svg>
		</button></figure><h2 class="wp-block-heading">谁是 Gerganov</h2><p class="wp-block-paragraph">据公开资料，Gerganov 是开源项目 llama.cpp 的创建者，也是 ggml、whisper.cpp 等本地 AI 基础软件的重要开发者。他在个人 X 简介中将自己标注为 Hugging Face 工程师，GitHub 资料所在地为保加利亚索非亚。正是这些项目，让“在本地、断网也能跑大模型”从少数玩家的尝试，变成了普通开发者触手可及的能力。</p><h2 class="wp-block-heading">明确版本兼容规则，是本次最大亮点</h2><p class="wp-block-paragraph">本次更新最核心的变化，是明确了一套接口兼容性规则。llama.cpp（C/C++ 编写的大模型推理库）与 ggml（底层机器学习张量库）今后都会通过主版本号升级，来明确标记 API 或 ABI 不兼容的变化，让依赖这些库的上层应用能够识别升级边界。</p><p class="wp-block-paragraph">具体的版本规则为：主版本号（MAJOR，例如从 1.x.x 升级到 2.0.0）在公共 C API 出现破坏性变更时更新；次版本号（MINOR，例如从 1.0.x 升级到 1.1.0）用于向后兼容的功能、后端更新、模型支持或 API 新增；修订号（PATCH，例如从 1.0.0 升级到 1.0.1）则用于不改变 API 的缺陷修复。对开发者来说，今后仅凭版本号就能大致判断某次升级是否要求自己的应用同步修改，升级风险更可控。</p><h2 class="wp-block-heading">支持 150+ 模型架构，跨平台覆盖扩大</h2><p class="wp-block-paragraph">在能力与后端方面，llama.cpp 目前已支持超过 150 种模型架构变体，以及主流的推测解码方法。ggml 通过专用后端支持不同硬件，每个后端都可以编译为动态库，并在运行时按需加载，从而把同一套推理能力适配到多种芯片平台。</p><p class="wp-block-paragraph">工程质量层面，团队强调了三项投入：一是借助 Hugging Face 的 HF Buckets 与 HF Jobs 扩展持续集成基础设施；二是在英伟达、AMD、高通、Arm、IBM、英特尔的硬件支持下，持续增加覆盖主要硬件平台的自托管测试运行器；三是在开发流程中审慎使用大语言模型，同时始终把代码质量、架构控制与对实现细节的理解放在首位。团队还表示将继续加强自动化测试基础设施，并借力上述芯片厂商的硬件资源，扩大跨平台测试覆盖。</p><p class="wp-block-paragraph">llama.cpp 主要用 C/C++ 编写，核心作用是让大语言模型能够在个人电脑、服务器等不同硬件上运行，既可用于本地部署，也可用于云端服务，目标是降低部署复杂度并充分利用设备自身的算力。换句话说，它让“断网环境下也能满血跑大模型”成为现实，这也是它在开发者群体中长盛不衰的根本原因。</p>]]></content:encoded>
					
		
		
			</item>
		<item>
		<title>2.8 万亿参数无显卡跑通：玩家用傲腾内存点亮 Kimi K3</title>
		<link>https://mylogs.cn/2-8-%e4%b8%87%e4%ba%bf%e5%8f%82%e6%95%b0%e6%97%a0%e6%98%be%e5%8d%a1%e8%b7%91%e9%80%9a%ef%bc%9a%e7%8e%a9%e5%ae%b6%e7%94%a8%e5%82%b2%e8%85%be%e5%86%85%e5%ad%98%e7%82%b9%e4%ba%ae-kimi-k3/</link>
		
		<dc:creator><![CDATA[steve, zhang]]></dc:creator>
		<pubDate>Fri, 13 Nov 2026 09:20:55 +0000</pubDate>
				<category><![CDATA[科技]]></category>
		<category><![CDATA[Kimi K3]]></category>
		<category><![CDATA[llama.cpp]]></category>
		<category><![CDATA[大模型推理]]></category>
		<category><![CDATA[月之暗面]]></category>
		<category><![CDATA[英特尔]]></category>
		<guid isPermaLink="false">https://mylogs.cn/2-8-%e4%b8%87%e4%ba%bf%e5%8f%82%e6%95%b0%e6%97%a0%e6%98%be%e5%8d%a1%e8%b7%91%e9%80%9a%ef%bc%9a%e7%8e%a9%e5%ae%b6%e7%94%a8%e5%82%b2%e8%85%be%e5%86%85%e5%ad%98%e7%82%b9%e4%ba%ae-kimi-k3/</guid>

					<description><![CDATA[结论：一名网友于 2026 年 11 月 2 日在 Reddit 发帖，用已停产的英特尔傲腾持久内存，在无显卡 [&#8230;]]]></description>
										<content:encoded><![CDATA[<p class="wp-block-paragraph"><strong>结论</strong>：一名网友于 2026 年 11 月 2 日在 Reddit 发帖，用已停产的英特尔傲腾持久内存，在无显卡的 40 核至强平台上跑通了 2.8 万亿参数的月之暗面 Kimi K3 模型。这意味着超大模型推理的瓶颈正从算力转向内存容量。</p>
<p class="wp-block-paragraph"><strong>关键数字</strong>：总参数 2.8 万亿 / 每 token 激活约 1040 亿 / 1 比特量化每秒 1.5 词元</p>

<figure class="wp-block-table"><table><thead><tr><th>指标</th><th>数值</th></tr></thead><tbody><tr><td>模型</td><td>月之暗面 Kimi K3（混合专家）</td></tr><tr><td>总参数量</td><td>2.8 万亿</td></tr><tr><td>每 token 激活参数</td><td>约 1040 亿</td></tr><tr><td>处理器</td><td>40 核第三代英特尔至强可扩展</td></tr><tr><td>内存</td><td>傲腾持久内存 200 系列（单条最高 512GB）</td></tr><tr><td>1 比特量化速度</td><td>每秒 1.50 词元</td></tr></tbody></table></figure>

<h2 class="wp-block-heading">为什么不用显卡也能跑</h2>
<p class="wp-block-paragraph">Kimi K3 是 2.8 万亿参数的混合专家模型，每 token 仅激活约 1040 亿参数。即便压到 1 比特量化，也至少需要约 610GB 内存空间，远超普通家用主板承载能力。</p>
<p class="wp-block-paragraph">该网友用一颗 40 核第三代至强可扩展处理器搭配傲腾持久内存 200 系列，经 App Direct 模式映射为独立持久化内存区域，再由 llama.cpp 执行推理，避开了显卡显存。</p>
<h2 class="wp-block-heading">速度到底有多慢</h2>
<p class="wp-block-paragraph">1 比特量化压缩模型数据后，初始生成速度约每秒 0.85 个词元；关闭直接访问功能 DAX、让常用数据受益于 DRAM 缓存后，速度提升至每秒 1.50 个词元。</p>
<p class="wp-block-paragraph">3 比特量化测试仅达每秒 0.75 个词元，生成 5 万个词元约需 18.5 小时。实时对话场景下，这一速度不具备可用性。</p>
<h2 class="wp-block-heading">傲腾为什么是&#8221;最后的应用场景&#8221;</h2>
<p class="wp-block-paragraph">傲腾持久内存单条容量最高 512GB，比 DRAM 便宜、比 SSD 快，容量优势明显；但带宽远低于显存，速度被卡在个位数。英特尔已于 2022 年第二季度启动傲腾业务收缩，计 5.59 亿美元库存减值，产品线无下一代。</p>
<p class="wp-block-paragraph">该实验更像是给被市场淘汰的技术找了个最后用途：它证明超大模型可以脱离显卡、靠大容量持久内存跑起来，但无法复制成稳定产品。</p>
<h2 class="wp-block-heading">适用场景与影响判断</h2>
<p class="wp-block-paragraph">对极客与低成本批处理场景，这套方案有参考价值：不追求实时响应、但需要处理大量数据的任务，用便宜存储介质做内存扩展，成本可能比 GPU 推理低一个数量级。</p>
<p class="wp-block-paragraph">值得注意的是，傲腾已停产且无售后，配置需支持第三代至强的主板、App Direct 模式与强力散热，普通用户难以直接复现；该测试属于技术验证，非实用方案。</p>
<h2 class="wp-block-heading">常见问题</h2>
<h3 class="wp-block-heading">普通人能照着复现吗</h3>
<p class="wp-block-paragraph">门槛较高。需支持傲腾的服务器主板与至强处理器，会配置 App Direct 模式、BIOS 与 Linux 内存映射，并解决傲腾满载散热问题。</p>
<h3 class="wp-block-heading">这套方案比显卡便宜吗</h3>
<p class="wp-block-paragraph">单看内存成本，二手傲腾比同容量 DDR5 便宜数倍；但需配套至强平台，整体仍非家用级方案，且速度远低于显卡。</p>
<h3 class="wp-block-heading">Kimi K3 官方支持这种玩法吗</h3>
<p class="wp-block-paragraph">官方未公布对此玩法的支持或优化说明。该运行依赖社区 llama.cpp 与用户自行量化，不属于月之暗面的官方部署路径。</p>
<h2 class="wp-block-heading">信息来源</h2>
<p class="wp-block-paragraph">信息来源：IT之家 2026 年 11 月 13 日报道，原始贴文发布于 Reddit（2026-11-02）。</p>]]></content:encoded>
					
		
		
			</item>
		<item>
		<title>Saluki 27B：2-bit 量化 Qwen，仅 7.89GB</title>
		<link>https://mylogs.cn/saluki-27b%ef%bc%9a2-bit-%e9%87%8f%e5%8c%96-qwen%ef%bc%8c%e4%bb%85-7-89gb/</link>
		
		<dc:creator><![CDATA[steve, zhang]]></dc:creator>
		<pubDate>Sat, 10 Oct 2026 04:32:30 +0000</pubDate>
				<category><![CDATA[科技]]></category>
		<category><![CDATA[AI 智能体]]></category>
		<category><![CDATA[llama.cpp]]></category>
		<category><![CDATA[Qwen3.8]]></category>
		<guid isPermaLink="false">https://mylogs.cn/saluki-27b%ef%bc%9a2-bit-%e9%87%8f%e5%8c%96-qwen%ef%bc%8c%e4%bb%85-7-89gb/</guid>

					<description><![CDATA[人工智能实验室 Underdog AI 本月发布 Saluki 27B 模型。这个「27B」背后，是一次把大模 [&#8230;]]]></description>
										<content:encoded><![CDATA[<p class="wp-block-paragraph">人工智能实验室 Underdog AI 本月发布 Saluki 27B 模型。这个「27B」背后，是一次把大模型塞进极小体积的尝试：它把约 54 GB 的全尺寸模型压缩到 7.89 GB，目标只有一个——在普通显卡上也能跑得动的本地 AI 智能体。</p>
<h2 class="wp-block-heading">2-bit 量化，只留文字能力</h2>
<p class="wp-block-paragraph">Saluki 27B 是 Qwen3.8-27B 的 2-bit 量化调优版本，采用 IQ2-mix 混合 2-bit 方案，仅保留文字输入/输出能力，文件大小仅 7.89 GB。该模型由 ConwayResearch 在 Hugging Face 以 Apache 2.0 许可发布。</p>
<h2 class="wp-block-heading">工具调用反而更强</h2>
<p class="wp-block-paragraph">Underdog 表示，Saluki 27B 针对智能体（Agent）应用设计，擅长日常推理与工具使用，数学表现则相对逊色。值得注意的是，其工具选择和多工具并行调用表现甚至优于全尺寸的 Qwen3.8-27B。据模型卡在 120 项工具调用测试中的结果，Saluki 27B 通过 88 项，高于原版的 84 项。</p>
<h2 class="wp-block-heading">即拖即跑，兼容标准生态</h2>
<p class="wp-block-paragraph">模型采用标准 llama.cpp 格式（GGUF），可在标准 llama.cpp 及基于它构建的应用中直接加载，无需任何自定义编译。若需要图像能力，可额外加载约 629 MB 或 928 MB 的视觉插件文件。官方给出的运行命令为：llama-server -m Underdog-Saluki-27B-1.0-IQ2-mix.gguf &#8211;jinja -ngl 99 -fa on -c 32768，其中 &#8211;jinja 用于开启 Qwen3.8 对话模板，以正确处理工具调用与思考模式。</p>
<p class="wp-block-paragraph">对开发者而言，这款模型的价值在于「轻」：单张消费级显卡甚至树莓派级设备即可部署，适合桌面与边缘侧的智能体场景。</p>
<figure data-wp-context="{&quot;imageId&quot;:&quot;6b015fb59a393&quot;}" data-wp-interactive="core/image" data-wp-key="6b015fb59a393" class="wp-block-image wp-lightbox-container"><img decoding="async" data-wp-class--hide="state.isContentHidden" data-wp-class--show="state.isContentVisible" data-wp-init="callbacks.setButtonStyles" data-wp-on--click="actions.showLightbox" data-wp-on--load="callbacks.setButtonStyles" data-wp-on--pointerdown="actions.preloadImage" data-wp-on--pointerenter="actions.preloadImageWithDelay" data-wp-on--pointerleave="actions.cancelPreload" data-wp-on-window--resize="callbacks.setButtonStyles" src="https://mylogs.cn/wp-content/uploads/2026/10/ebeda3c43f01413c6b07c1f229e443ae_header.webp" alt="Saluki 27B 模型概念图" title="图片来源：IT之家" style="max-width:100%;height:auto;"/><button
			class="lightbox-trigger"
			type="button"
			aria-haspopup="dialog"
			data-wp-bind--aria-label="state.thisImage.triggerButtonAriaLabel"
			data-wp-init="callbacks.initTriggerButton"
			data-wp-on--click="actions.showLightbox"
			data-wp-style--right="state.thisImage.buttonRight"
			data-wp-style--top="state.thisImage.buttonTop"
		>
			<svg xmlns="http://www.w3.org/2000/svg" width="12" height="12" fill="none" viewBox="0 0 12 12">
				<path fill="#fff" d="M2 0a2 2 0 0 0-2 2v2h1.5V2a.5.5 0 0 1 .5-.5h2V0H2Zm2 10.5H2a.5.5 0 0 1-.5-.5V8H0v2a2 2 0 0 0 2 2h2v-1.5ZM8 12v-1.5h2a.5.5 0 0 0 .5-.5V8H12v2a2 2 0 0 1-2 2H8Zm2-12a2 2 0 0 1 2 2v2h-1.5V2a.5.5 0 0 0-.5-.5H8V0h2Z" />
			</svg>
		</button></figure>]]></content:encoded>
					
		
		
			</item>
		<item>
		<title>微软 Win11 原生支持 GGUF 本地大模型推理</title>
		<link>https://mylogs.cn/%e5%be%ae%e8%bd%af-win11-%e5%8e%9f%e7%94%9f%e6%94%af%e6%8c%81-gguf-%e6%9c%ac%e5%9c%b0%e5%a4%a7%e6%a8%a1%e5%9e%8b%e6%8e%a8%e7%90%86/</link>
		
		<dc:creator><![CDATA[steve, zhang]]></dc:creator>
		<pubDate>Fri, 09 Oct 2026 05:02:18 +0000</pubDate>
				<category><![CDATA[科技]]></category>
		<category><![CDATA[llama.cpp]]></category>
		<category><![CDATA[Windows 11]]></category>
		<category><![CDATA[本地推理]]></category>
		<guid isPermaLink="false">https://mylogs.cn/%e5%be%ae%e8%bd%af-win11-%e5%8e%9f%e7%94%9f%e6%94%af%e6%8c%81-gguf-%e6%9c%ac%e5%9c%b0%e5%a4%a7%e6%a8%a1%e5%9e%8b%e6%8e%a8%e7%90%86/</guid>

					<description><![CDATA[微软把本地大模型塞进系统层 科技媒体 NeoWin 于 10 月 8 日报道，微软正与开源项目 llama.c [&#8230;]]]></description>
										<content:encoded><![CDATA[<figure data-wp-context="{&quot;imageId&quot;:&quot;6b015fb59accd&quot;}" data-wp-interactive="core/image" data-wp-key="6b015fb59accd" class="wp-block-image wp-lightbox-container"><img decoding="async" data-wp-class--hide="state.isContentHidden" data-wp-class--show="state.isContentVisible" data-wp-init="callbacks.setButtonStyles" data-wp-on--click="actions.showLightbox" data-wp-on--load="callbacks.setButtonStyles" data-wp-on--pointerdown="actions.preloadImage" data-wp-on--pointerenter="actions.preloadImageWithDelay" data-wp-on--pointerleave="actions.cancelPreload" data-wp-on-window--resize="callbacks.setButtonStyles" src="https://mylogs.cn/wp-content/uploads/2026/10/win11_windowsml_20261009_header.webp" alt="Windows 11 本地 AI 推理概念图" title="图片来源：AI 生成" style="max-width:100%;height:auto;"/><button
			class="lightbox-trigger"
			type="button"
			aria-haspopup="dialog"
			data-wp-bind--aria-label="state.thisImage.triggerButtonAriaLabel"
			data-wp-init="callbacks.initTriggerButton"
			data-wp-on--click="actions.showLightbox"
			data-wp-style--right="state.thisImage.buttonRight"
			data-wp-style--top="state.thisImage.buttonTop"
		>
			<svg xmlns="http://www.w3.org/2000/svg" width="12" height="12" fill="none" viewBox="0 0 12 12">
				<path fill="#fff" d="M2 0a2 2 0 0 0-2 2v2h1.5V2a.5.5 0 0 1 .5-.5h2V0H2Zm2 10.5H2a.5.5 0 0 1-.5-.5V8H0v2a2 2 0 0 0 2 2h2v-1.5ZM8 12v-1.5h2a.5.5 0 0 0 .5-.5V8H12v2a2 2 0 0 1-2 2H8Zm2-12a2 2 0 0 1 2 2v2h-1.5V2a.5.5 0 0 0-.5-.5H8V0h2Z" />
			</svg>
		</button></figure>
<h2 class="wp-block-heading">微软把本地大模型塞进系统层</h2>
<p class="wp-block-paragraph">科技媒体 NeoWin 于 10 月 8 日报道，微软正与开源项目 llama.cpp 及 GGUF 社区合作，升级面向 Windows 11 的本地人工智能推理框架 Windows ML，实验性地原生支持 GGUF 与 ONNX 两类模型格式的本地推理，并推出 Windows ML Runtime API。相关进展在 Windows 与 Surface 十月活动上作了介绍。</p>
<p class="wp-block-paragraph">Windows ML 是微软面向 Windows 11 的本地人工智能推理框架，开发者可在设备端直接运行人工智能模型，构建文本生成、语音识别等应用，并减少对特定硬件优化的依赖。</p>
<h2 class="wp-block-heading">从 Hugging Face 导入，在本地运行</h2>
<p class="wp-block-paragraph">微软表示，通过社区合作，开发者现在可以借助 llama.cpp 的实验性集成，从开源模型平台 Hugging Face 导入 GGUF 模型并直接在本地运行。在性能方面，微软还携手英伟达公司向 llama.cpp 及相关性能优化贡献代码。</p>
<p class="wp-block-paragraph">Windows ML 新增的实验性 Windows 原生推理路径，可同时运行 ONNX 与 GGUF 两类模型。该路径正式名称为 Windows ML Runtime API，微软称其具备更高性能、更深的系统集成以及更细粒度的控制能力。</p>
<h2 class="wp-block-heading">两种格式，各自是什么</h2>
<p class="wp-block-paragraph">GGUF 是本地运行大语言模型常用的模型文件格式，开发者可从 Hugging Face 等平台获取相关模型，并通过 llama.cpp 等工具在个人电脑上加载与推理。ONNX 则是用于在不同框架和硬件之间迁移人工智能模型的开放神经网络交换格式，其常用运行环境为 ONNX Runtime。</p>
<p class="wp-block-paragraph">在 Windows ML Runtime API 的支持下，微软同时推出文本生成接口 TextGenerationAPI 与语音识别接口 SpeechRecognitionAPI，开发者可基于这两组接口在 Windows 应用中集成文本生成与语音识别功能。</p>
<p class="wp-block-paragraph">微软表示，ONNX Runtime API 仍获得完整支持，未来针对 Windows 的优化将优先投向 Windows ML Runtime API。两种运行时均已包含在当前版本中，开发者可按自己的熟悉程度选择迁移时机。</p>
<p class="wp-block-paragraph">对端侧应用开发者而言，本地人工智能推理从「自己搭环境」变成「系统自带能力」，意味着在个人电脑上跑大模型的关键一步——环境配置，被显著简化了。</p>]]></content:encoded>
					
		
		
			</item>
		<item>
		<title>一键装好本地大模型：Hermes 用红黄绿告诉你哪个跑得动</title>
		<link>https://mylogs.cn/%e4%b8%80%e9%94%ae%e8%a3%85%e5%a5%bd%e6%9c%ac%e5%9c%b0%e5%a4%a7%e6%a8%a1%e5%9e%8b%ef%bc%9ahermes-%e7%94%a8%e7%ba%a2%e9%bb%84%e7%bb%bf%e5%91%8a%e8%af%89%e4%bd%a0%e5%93%aa%e4%b8%aa%e8%b7%91%e5%be%97/</link>
		
		<dc:creator><![CDATA[steve, zhang]]></dc:creator>
		<pubDate>Fri, 11 Sep 2026 17:10:58 +0000</pubDate>
				<category><![CDATA[科技]]></category>
		<category><![CDATA[AI 工具]]></category>
		<category><![CDATA[Hermes]]></category>
		<category><![CDATA[llama.cpp]]></category>
		<category><![CDATA[开源模型]]></category>
		<category><![CDATA[显存]]></category>
		<category><![CDATA[本地大模型]]></category>
		<guid isPermaLink="false">https://mylogs.cn/%e4%b8%80%e9%94%ae%e8%a3%85%e5%a5%bd%e6%9c%ac%e5%9c%b0%e5%a4%a7%e6%a8%a1%e5%9e%8b%ef%bc%9ahermes-%e7%94%a8%e7%ba%a2%e9%bb%84%e7%bb%bf%e5%91%8a%e8%af%89%e4%bd%a0%e5%93%aa%e4%b8%aa%e8%b7%91%e5%be%97/</guid>

					<description><![CDATA[在本地跑一个开放权重模型，真正卡住人的从来不是模型本身，而是模型之前的一长串准备工作：查显卡显存、猜该下哪个量 [&#8230;]]]></description>
										<content:encoded><![CDATA[<p class="wp-block-paragraph">在本地跑一个开放权重模型，真正卡住人的从来不是模型本身，而是模型之前的一长串准备工作：查显卡显存、猜该下哪个量化版本、手动设上下文长度和 GPU 层数，最后在加载时才发现文件比剩余空间还大出几个 GB。 Nous Research 最近把这一整串动作压缩进了 Hermes Desktop 的一次点击里。</p>
<h2 class="wp-block-heading">一次点击背后做了四件事</h2>
<p class="wp-block-paragraph">新的简易设置流程会在首次启动时自动出现，之后也可以随时在 Settings → Providers → Local Models 中进入。点击之后，Hermes 会依次完成四步：读取机器的显存与系统内存总量、从模型目录里挑出一个能完整跑在这块硬件上的构建版本、下载对应的量化权重、配置好推理运行时。</p>
<p class="wp-block-paragraph">推理引擎这一步同样是自动的。Hermes 不要求用户手动安装任何东西，而是自行抓取一个与硬件匹配的官方 llama.cpp 构建，体积在几百 MB 量级，校验完成后还会持续保持更新。后端覆盖 CUDA、Metal、Vulkan、HIP 以及纯 CPU，也就是说 NVIDIA、AMD、<a href="https://mylogs.cn/%e5%8f%b0%e7%a7%af%e7%94%b5-2nm-%e5%b9%b4%e5%ba%95%e6%9c%88%e4%ba%a7%e8%83%bd%e5%86%b2-12-%e4%b8%87%e7%89%87%ef%bc%8c%e6%8f%90%e5%89%8d%e4%b8%a4%e5%b9%b4%e8%be%be%e6%a0%87/">苹果</a>芯片和<a href="https://mylogs.cn/%e6%b7%b1%e8%93%9dl06%e8%bf%bd%e9%a3%8e%e7%89%8810%e6%9c%88%e4%b8%8a%e5%b8%82%ef%bc%8c%e9%85%8d%e7%a2%b3%e7%ba%a4%e7%bb%b4%e5%b0%be%e7%bf%bcai%e5%ba%a7%e8%88%b1/">英特尔</a>平台的机器各有对应路径。固定的版本标签写在 config.yaml 的 local_runtime 块中，桌面界面会自动写入，使用无界面模式的用户也可以手动指定。</p>
<h2 class="wp-block-heading">下载之前先用颜色告诉你结果</h2>
<p class="wp-block-paragraph">Hermes 在下载任何东西之前，会先把目录里的每个模型都针对当前这台机器评估一遍，并给出一个内存适配结论：绿色代表模型可以完全放进 GPU 显存运行；黄色代表会溢出到系统内存，能跑但速度会变慢；红色代表对这台机器来说太大。</p>
<p class="wp-block-paragraph">即便标记为红色，模型也不会从列表里消失，而是保留并显示具体缺少什么，这样用户能直观判断多加一些显存能换来什么。每一行还会显示该模型的起始上下文窗口、最大上下文窗口，以及针对当前硬件所选构建的下载体积。</p>
<p class="wp-block-paragraph">量化版本的选择遵循一条很实在的规则：Hermes 会挑能在 GPU 上完整运行的最高质量构建，显存偏小的机器拿到的是同一模型更紧凑的版本。这里有一条 4-bit 的硬底线——低于这个精度，Nous Research 认为质量损失已经大到不值得推荐，因此一台连 4-bit 版本都无法在不溢出的情况下运行的机器，就不被认为能运行该模型。</p>
<h2 class="wp-block-heading">内存怎么分配，用户不用管</h2>
<p class="wp-block-paragraph">本地推理的表现好坏，很大程度上取决于模型权重和注意力缓存放在内存的哪个位置。Hermes 没有把这些调节项暴露给用户，而是采用一套固定的有序卸载策略：当模型超出 GPU 显存时，溢出部分按&#8221;伤害最小&#8221;的顺序进入系统内存，最先移出的是专家权重，而注意力缓存永远不会被卸载。换句话说，它用一部分吞吐量换来了上下文的完整性。</p>
<p class="wp-block-paragraph">上下文窗口从一个完全适配 GPU 的起点开始，随着对话需要空间逐步向模型的原生最大值扩展，所有推荐模型都保证至少 64K 的上下文窗口。对话压缩——也就是把较早的轮次做摘要以腾出空间——只有在模型已经达到最大窗口时才会启动，因此窗口总是在任何内容被裁剪之前先长大。模型空闲 15 分钟后会自动卸载，下一条消息到来时再重新加载。</p>
<p class="wp-block-paragraph">对于把本地模型接进自动化流程或智能体工作流的场景，这套设计尤其关键：上下文被悄悄截断，往往会让多步骤任务在无人察觉的情况下跑偏。</p>
<h2 class="wp-block-heading">免费、开源、不用注册</h2>
<p class="wp-block-paragraph">Hermes Desktop 是开源项目 Hermes Agent 的免费构建版本，采用 MIT 许可证，支持 <a href="https://mylogs.cn/ai-%e5%8a%a0%e9%80%9f%e9%bb%91%e5%ae%a2%e5%b7%a5%e5%85%b7%ef%bc%8c%e8%8b%b9%e6%9e%9c%e7%b4%a7%e6%80%a5%e6%8f%90%e9%80%9f%e5%ae%89%e5%85%a8%e6%9b%b4%e6%96%b0/">macOS</a> 12 及以上、Windows 10/11 以及任意 Linux 发行版，运行本地模型不需要注册任何账号。</p>
<p class="wp-block-paragraph">把部署门槛从半小时的手动折腾压到一次点击，带来的变化不只是省时间。本地运行意味着数据不离开本机、没有按 token 计算的账单，也不会因为某家 API 服务中断而停摆。对中小团队来说，这等于先用手头现有的硬件试用一遍私密、离线的 AI，再决定要不要投入更多。</p>
<p class="wp-block-paragraph">图片来源：Nous Research 官方素材</p>]]></content:encoded>
					
		
		
			</item>
		<item>
		<title>苹果虚拟机跑本地大模型慢 16 倍，一个补丁补回来</title>
		<link>https://mylogs.cn/apple-silicon-vm-llama-cpp-16x/</link>
		
		<dc:creator><![CDATA[steve, zhang]]></dc:creator>
		<pubDate>Wed, 12 Aug 2026 00:24:37 +0000</pubDate>
				<category><![CDATA[科技]]></category>
		<category><![CDATA[Apple Silicon]]></category>
		<category><![CDATA[llama.cpp]]></category>
		<category><![CDATA[Metal]]></category>
		<category><![CDATA[本地大模型]]></category>
		<guid isPermaLink="false">https://mylogs.cn/apple-silicon-vm-llama-cpp-16x/</guid>

					<description><![CDATA[在苹果芯片的 Mac 上跑大模型，很多人会选择 llama.cpp。但当它运行在 macOS 虚拟机里时，推理 [&#8230;]]]></description>
										<content:encoded><![CDATA[
<p class="wp-block-paragraph">在<a href="https://mylogs.cn/%e5%8f%b0%e7%a7%af%e7%94%b5-2nm-%e5%b9%b4%e5%ba%95%e6%9c%88%e4%ba%a7%e8%83%bd%e5%86%b2-12-%e4%b8%87%e7%89%87%ef%bc%8c%e6%8f%90%e5%89%8d%e4%b8%a4%e5%b9%b4%e8%be%be%e6%a0%87/">苹果</a>芯片的 Mac 上跑<a href="https://mylogs.cn/chatgpt-pro-%e9%87%8d%e5%bc%80-200-%e7%be%8e%e5%85%83%e6%a1%a3%ef%bc%9aapi-%e4%bb%b7%e5%80%bc%e8%bf%91%e7%bf%bb%e5%80%8d/">大模型</a>，很多人会选择 llama.cpp。但当它运行在 <a href="https://mylogs.cn/ai-%e5%8a%a0%e9%80%9f%e9%bb%91%e5%ae%a2%e5%b7%a5%e5%85%b7%ef%bc%8c%e8%8b%b9%e6%9e%9c%e7%b4%a7%e6%80%a5%e6%8f%90%e9%80%9f%e5%ae%89%e5%85%a8%e6%9b%b4%e6%96%b0/">macOS</a> 虚拟机里时，推理速度可能只有裸机的一小部分。开源项目 Cua 近日发布的一项测试结果给出了原因，也给出了解法：只要在虚拟机里补一层进程级的 Metal 能力补丁，llama.cpp 的提示处理速度最高可提升约 11 倍，生成速度最高提升约 16 倍。</p>



<figure data-wp-context="{&quot;imageId&quot;:&quot;6b015fb59ca48&quot;}" data-wp-interactive="core/image" data-wp-key="6b015fb59ca48" class="wp-block-image size-large aligncenter wp-lightbox-container"><img fetchpriority="high" decoding="async" width="1200" height="600" data-wp-class--hide="state.isContentHidden" data-wp-class--show="state.isContentVisible" data-wp-init="callbacks.setButtonStyles" data-wp-on--click="actions.showLightbox" data-wp-on--load="callbacks.setButtonStyles" data-wp-on--pointerdown="actions.preloadImage" data-wp-on--pointerenter="actions.preloadImageWithDelay" data-wp-on--pointerleave="actions.cancelPreload" data-wp-on-window--resize="callbacks.setButtonStyles" src="https://mylogs.cn/wp-content/uploads/2026/08/60170ce4dd208312779e236f06d18c22_header.webp" alt="苹果虚拟机跑本地大模型慢 16 倍，一个补丁补回来" class="wp-image-4511" style="max-width:100%;height:auto" srcset="https://mylogs.cn/wp-content/uploads/2026/08/60170ce4dd208312779e236f06d18c22_header.webp 1200w, https://mylogs.cn/wp-content/uploads/2026/08/60170ce4dd208312779e236f06d18c22_header-300x150.webp 300w, https://mylogs.cn/wp-content/uploads/2026/08/60170ce4dd208312779e236f06d18c22_header-1024x512.webp 1024w, https://mylogs.cn/wp-content/uploads/2026/08/60170ce4dd208312779e236f06d18c22_header-768x384.webp 768w" sizes="(max-width: 1200px) 100vw, 1200px" /><button
			class="lightbox-trigger"
			type="button"
			aria-haspopup="dialog"
			data-wp-bind--aria-label="state.thisImage.triggerButtonAriaLabel"
			data-wp-init="callbacks.initTriggerButton"
			data-wp-on--click="actions.showLightbox"
			data-wp-style--right="state.thisImage.buttonRight"
			data-wp-style--top="state.thisImage.buttonTop"
		>
			<svg xmlns="http://www.w3.org/2000/svg" width="12" height="12" fill="none" viewBox="0 0 12 12">
				<path fill="#fff" d="M2 0a2 2 0 0 0-2 2v2h1.5V2a.5.5 0 0 1 .5-.5h2V0H2Zm2 10.5H2a.5.5 0 0 1-.5-.5V8H0v2a2 2 0 0 0 2 2h2v-1.5ZM8 12v-1.5h2a.5.5 0 0 0 .5-.5V8H12v2a2 2 0 0 1-2 2H8Zm2-12a2 2 0 0 1 2 2v2h-1.5V2a.5.5 0 0 0-.5-.5H8V0h2Z" />
			</svg>
		</button><figcaption class="wp-element-caption">图片来源：GitHub／cua 项目页</figcaption></figure>





<p class="wp-block-paragraph">Cua 的团队此前以 macOS 虚拟化栈 Lume 起步。苹果自家的 Virtualization.framework 让 macOS 客户机通过虚拟 GPU 使用宿主的 Apple GPU，但在默认配置下，这个虚拟设备上报了一套非常保守的 Metal 能力档。应用程序正是根据这些应答来选择计算内核和渲染路径，于是 llama.cpp 在虚拟机里走了更慢的 GPU 代码路径。</p>



<h2 class="wp-block-heading">虚拟机里的 GPU 被「降级」了</h2>



<p class="wp-block-paragraph">问题出在能力查询的应答上。在 Cua 基于 macOS Tahoe 的标准虚拟机里，这块虚拟显卡上报的近似能力是「Apple 5 时代家族」、最大线程组内存仅 32 KB，并且不支持 SIMD 组矩阵运算。现代 Metal 软件会依据这些应答挑选内核，即便设备其实能跑更新的内核，llama.cpp 也只会选择更慢的实现。</p>



<p class="wp-block-paragraph">苹果官方文档通过「GPU 家族与特性表」来描述 GPU 能力，并建议应用在运行时查询设备。换言之，应用程序只是照着平台告诉它的边界来工作。这与常见的 GPU 直通不同：在 x86 Linux 上可以通过 VFIO 把物理 PCI 设备直接分配给虚拟机，而苹果这套是半虚拟化架构，宿主机仍掌控硬件，客户机使用的是虚拟化感知的设备。</p>



<h2 class="wp-block-heading">进程级补丁做了什么</h2>



<p class="wp-block-paragraph">Cua 团队写了一个很小的 Metal 能力补丁，作为兼容层插在某个客户机进程与 Metal API 之间。它只拦截并改写该进程读到的少数几项能力应答：把支持的家族档提升到 Apple family 9（编号 1009），并把最大线程组内存从 32 KB 提到 64 KB。就这两项改动，足以让被测的 llama.cpp 版本改用更新的 SIMD 组归约、SIMD 组矩阵与 bfloat16 路径。</p>



<p class="wp-block-paragraph">关键在于，这个补丁只作用于被注入的那个工作进程及其子进程，工作负载仍然跑在苹果现有的虚拟 GPU 通道上，由宿主的 Apple GPU 执行；它不涉及物理 GPU 直连、原始 PCI 或 VFIO 直通，也不改动内核。其余能力档保持默认不变，配置缺失或格式错误时会自动回落到标准路径。</p>



<h2 class="wp-block-heading">实测：提速 7 到 16 倍</h2>



<p class="wp-block-paragraph">测试在一台 Apple M1 Ultra（48 核 GPU）、宿主 macOS 26.6.1 上进行，客户机为当前公开的 Tahoe Cua 镜像（macOS 26.5.2、8 个虚拟 CPU、16 GiB 内存），运行 Lume 0.5.1，统一使用官方 llama.cpp b10167 版本。</p>



<p class="wp-block-paragraph">使用 TinyLlama 1.1B 对话模型（Q4_K_M）时，提示处理从标准虚拟机的每秒 431.86 个词元提升到解锁后的 4786.70 个词元，达到裸机的 98.25%；生成速度从每秒 12.63 个词元提升到 206.60 个词元，相当于裸机的 72.06%。两项提升分别为 11.08 倍与 16.36 倍。</p>



<p class="wp-block-paragraph">换成 Google 今年发布的 Gemma 4 12B（QAT Q4_0，约 6.98 GB）后，提示处理从每秒 71.66 个词元提升到 515.76 个词元，达到裸机的 99.59%；生成从每秒 3.41 个词元提升到 49.67 个词元，相当于裸机的 94.82%，提升分别为 7.20 倍与 14.54 倍。</p>



<p class="wp-block-paragraph">再用 Meta 官方的 <a href="https://mylogs.cn/meta-%e4%bc%81%e4%b8%9a%e5%b9%b3%e5%8f%b0%e5%8f%91%e5%b8%83%ef%bc%8c%e5%89%91%e6%8c%87%e4%bc%81%e4%b8%9a-ai-%e5%b8%82%e5%9c%ba/">Muse</a> Glimmer 30B（Q4_K-M，约 16.76 GB，客户机内存提到 64 GiB）测试，提示处理从每秒 25.83 个词元提升到 194.97 个词元，生成从每秒 2.38 个词元提升到 21.08 个词元，提升分别为 7.55 倍与 8.87 倍。作为对照，MLX-LM 0.31.3 在标准中就已经很快，补丁前后几乎持平（提示 1.005 倍、生成 0.993 倍），这也帮助团队定义了发布时所覆盖的能力档范围。</p>



<h2 class="wp-block-heading">局限与适用边界</h2>



<p class="wp-block-paragraph">这项技术仍是实验性的，且对版本敏感：它依赖客户机 Metal 实现中私有的、随 macOS 版本可能变化的行为，因此每一个宿主与客户机组合都需要单独验证。补丁只影响被注入的工作负载，加固或受平台保护的程序可能拒绝库注入；它覆盖的能力档也仅限于已测试的范围，物理 GPU 能力发现不在其内。</p>



<p class="wp-block-paragraph">Cua 已将相关源码以与 Lume、Cua 相同的宽松许可证开放，并附带构建脚本、能力探测与原始基准日志，供他人复现。对于需要在苹果芯片虚拟机里跑本地推理的开发者，这层补丁提供了一个值得关注的起点——前提是接受它的实验属性，并为每个系统组合自行核验。</p>



<p class="has-small-font-size wp-block-paragraph">来源：Cua 官方博客（GitHub 项目 trycua/cua），作者 Francesco Bonacci 与 Johnny Franks</p>

]]></content:encoded>
					
		
		
			</item>
		<item>
		<title>本地大模型实战：5 个慢速笔记本也能跑的项目</title>
		<link>https://mylogs.cn/local-llm-5-projects-slow-laptop/</link>
		
		<dc:creator><![CDATA[steve, zhang]]></dc:creator>
		<pubDate>Tue, 11 Aug 2026 11:32:44 +0000</pubDate>
				<category><![CDATA[科技]]></category>
		<category><![CDATA[llama.cpp]]></category>
		<category><![CDATA[Ollama]]></category>
		<category><![CDATA[人工智能]]></category>
		<category><![CDATA[开源模型]]></category>
		<category><![CDATA[本地大模型]]></category>
		<category><![CDATA[离线AI]]></category>
		<category><![CDATA[边缘计算]]></category>
		<guid isPermaLink="false">https://mylogs.cn/local-llm-5-projects-slow-laptop/</guid>

					<description><![CDATA[别被「必须旗舰显卡」吓退 很多人以为跑本地大模型一定得配一张昂贵的独立显卡。这个说法有一半是对的——确实有不少 [&#8230;]]]></description>
										<content:encoded><![CDATA[
<h2 class="wp-block-heading">别被「必须旗舰显卡」吓退</h2>



<p class="wp-block-paragraph">很多人以为跑本地大模型一定得配一张昂贵的独立显卡。这个说法有一半是对的——确实有不少任务离不开显卡。但模型世界里还藏着一大批体积小、却能把事情做漂亮的小模型。只要手边有一台近五年内生产的旧电脑或笔记本，内存不低于 8GB，就能跑起来，速度大约在每秒 10 个词元上下。这个速度听起来不起眼，可在不少实际场景里，原始速度根本不是关键。</p>



<figure data-wp-context="{&quot;imageId&quot;:&quot;6b015fb59dd0b&quot;}" data-wp-interactive="core/image" data-wp-key="6b015fb59dd0b" class="wp-block-image size-large aligncenter wp-lightbox-container"><img decoding="async" width="1200" height="675" data-wp-class--hide="state.isContentHidden" data-wp-class--show="state.isContentVisible" data-wp-init="callbacks.setButtonStyles" data-wp-on--click="actions.showLightbox" data-wp-on--load="callbacks.setButtonStyles" data-wp-on--pointerdown="actions.preloadImage" data-wp-on--pointerenter="actions.preloadImageWithDelay" data-wp-on--pointerleave="actions.cancelPreload" data-wp-on-window--resize="callbacks.setButtonStyles" src="https://mylogs.cn/wp-content/uploads/2026/08/e4dba4cc484557b2f5512259452231f7_header.webp" alt="本地大模型实战：5 个慢速笔记本也能跑的项目" class="wp-image-4448" style="max-width:100%;height:auto" srcset="https://mylogs.cn/wp-content/uploads/2026/08/e4dba4cc484557b2f5512259452231f7_header.webp 1200w, https://mylogs.cn/wp-content/uploads/2026/08/e4dba4cc484557b2f5512259452231f7_header-300x169.webp 300w, https://mylogs.cn/wp-content/uploads/2026/08/e4dba4cc484557b2f5512259452231f7_header-1024x576.webp 1024w, https://mylogs.cn/wp-content/uploads/2026/08/e4dba4cc484557b2f5512259452231f7_header-768x432.webp 768w" sizes="(max-width: 1200px) 100vw, 1200px" /><button
			class="lightbox-trigger"
			type="button"
			aria-haspopup="dialog"
			data-wp-bind--aria-label="state.thisImage.triggerButtonAriaLabel"
			data-wp-init="callbacks.initTriggerButton"
			data-wp-on--click="actions.showLightbox"
			data-wp-style--right="state.thisImage.buttonRight"
			data-wp-style--top="state.thisImage.buttonTop"
		>
			<svg xmlns="http://www.w3.org/2000/svg" width="12" height="12" fill="none" viewBox="0 0 12 12">
				<path fill="#fff" d="M2 0a2 2 0 0 0-2 2v2h1.5V2a.5.5 0 0 1 .5-.5h2V0H2Zm2 10.5H2a.5.5 0 0 1-.5-.5V8H0v2a2 2 0 0 0 2 2h2v-1.5ZM8 12v-1.5h2a.5.5 0 0 0 .5-.5V8H12v2a2 2 0 0 1-2 2H8Zm2-12a2 2 0 0 1 2 2v2h-1.5V2a.5.5 0 0 0-.5-.5H8V0h2Z" />
			</svg>
		</button><figcaption class="wp-element-caption">图片来源：How-To Geek</figcaption></figure>





<h2 class="wp-block-heading">第一行命令：用 Ollama 起一个本地服务</h2>



<p class="wp-block-paragraph">对于大多数想自己托管 AI 的人来说，Ollama 几乎成了默认选择。它内置模型库，提供一套兼容 <a href="https://mylogs.cn/chatgpt-pro-%e9%87%8d%e5%bc%80-200-%e7%be%8e%e5%85%83%e6%a1%a3%ef%bc%9aapi-%e4%bb%b7%e5%80%bc%e8%bf%91%e7%bf%bb%e5%80%8d/">OpenAI</a> 的接口，能在本地直接拉起一个服务进程。基于开放权重模型搭建真正能执行任务的 AI、而非单纯对话，它再合适不过。</p>



<p class="wp-block-paragraph">最大的好处是省心。硬件探测、量化版本选择这类琐碎活儿，Ollama 都替用户打理了。唯一要盯紧的是量化设置：选错格式的后果很严重，仅仅两比特的差别，就能让整机性能天差地别。选定模型后，执行 <code>ollama pull 模型名</code> 拉取，再 <code>ollama run 模型名</code> 就能对话。</p>



<h2 class="wp-block-heading">要榨干性能：试试 llama.cpp</h2>



<p class="wp-block-paragraph">llama.cpp 是一套专门跑 GGUF 格式模型的推理引擎。它没有界面开销，把能用的 CPU 优化都用到了极致，适合那种「每一分性能都要抠」的场景，代价是上手更费劲。</p>



<p class="wp-block-paragraph">它高度依赖命令行（不过也有网页界面可用），模型文件得自己管理，量化格式也得自己搞明白。起步方式是下载发布版或自行编译，再从 Hugging Face 取一份 GGUF 模型，用 llama-cli 或 llama-server 跑起来。有一项设置至关重要：把上下文长度封顶，别用默认值。KV 缓存吃掉内存的速度快得惊人，设太高整机立刻卡死。</p>



<h2 class="wp-block-heading">给老旧硬件的礼物：Gemma 4 边缘模型</h2>



<p class="wp-block-paragraph">Gemma 4 家族里最小的两员——E2B 与 E4B——于 2026 年春天专为「边缘」硬件发布。名字里的「E」代表有效参数量，用更少的显存堆出更深的层次。举例来说，E4B 在 4 比特量化下大约只占 5GB 内存。</p>



<p class="wp-block-paragraph">它们擅长摘要、起草、抽取结构化数据、翻译这类基础活儿，也能做一点推理，只是比不上更大的思考型模型。通过 Ollama 使用时，按内存选型号：有 8GB 就上 E4B，更少就退到 E2B。上下文也别拉太高，一样会挤占内存。</p>



<h2 class="wp-block-heading">慢笔记本的绝配：给相册自动写说明</h2>



<p class="wp-block-paragraph">这篇文章里最受青睐的本地 AI 项目之一，是个给截图自动生成描述的小程序。这套配置跑在显卡上，但完全没有理由不能挪到 CPU 上，尤其是不要求实时的时候。批量给一整个文件夹的照片生成说明文字或替代文本，正是慢笔记本的理想任务——模型每秒吐三个词元，即便在无人值守时运行，慢一点也无妨。</p>



<p class="wp-block-paragraph">可选方案有好几个：Moondream2（或 Moondream3，约 16 亿参数）专为边缘设计，4 比特量化下轻松塞进 3GB；SmolVLM 2B 是开放权重模型，擅长批处理；Gemma 4 E4B 每个版本都带视觉能力。要是想翻找过去十年的照片并让它们变得可搜索，这招极其实用。建议先用十几张差异很大的图试试水，再决定要不要丢进上万张的图库。</p>



<h2 class="wp-block-heading">把文档搜索变聪明：私有语义检索</h2>



<p class="wp-block-paragraph">电脑自带搜索基本是「傻瓜式」的，只认敲进去的字面关键词。换上 AI，就能做语义搜索——用更自然的描述去找东西，不必字字对应。推荐先从 EmbeddingGemma 入手：它只有 3.08 亿参数，量化后内存占用不到 200MB，甚至能把输出向量从 768 维截到 128 维而几乎不损质量。把它接在 Ollama 服务后，配合 AnythingLLM 或 Open WebUI 就能用。只是要记住，在 CPU 上扫一遍庞大的文档库，动辄要等上几个小时。</p>



<h2 class="wp-block-heading">怎么选：快用 llama.cpp，图省心用 Ollama</h2>



<p class="wp-block-paragraph">想要最快的搭建，选 llama.cpp；对其他人，作者强烈推荐 Ollama，那份省心简直是游戏规则的改变者。若一时没有特定模型目标，先从 Gemma 4 的边缘型号起步最稳妥——它们能做的事多到惊人，而且哪怕是一台「土豆机」也带得动。</p>



<p class="has-small-font-size wp-block-paragraph">来源：How-To Geek（作者 Nick Lewis，2026 年 8 月 11 日）</p>

]]></content:encoded>
					
		
		
			</item>
		<item>
		<title>本地大模型总车轱辘话？两个滑块就能治</title>
		<link>https://mylogs.cn/%e6%9c%ac%e5%9c%b0%e5%a4%a7%e6%a8%a1%e5%9e%8b%e6%80%bb%e8%bd%a6%e8%bd%b1%e8%be%98%e8%af%9d%ef%bc%9f%e4%b8%a4%e4%b8%aa%e6%bb%91%e5%9d%97%e5%b0%b1%e8%83%bd%e6%b2%bb/</link>
		
		<dc:creator><![CDATA[steve, zhang]]></dc:creator>
		<pubDate>Sun, 09 Aug 2026 19:06:01 +0000</pubDate>
				<category><![CDATA[经验与技巧]]></category>
		<category><![CDATA[AI工具]]></category>
		<category><![CDATA[llama.cpp]]></category>
		<category><![CDATA[LM Studio]]></category>
		<category><![CDATA[Ollama]]></category>
		<category><![CDATA[本地大模型]]></category>
		<guid isPermaLink="false">https://mylogs.cn/%e6%9c%ac%e5%9c%b0%e5%a4%a7%e6%a8%a1%e5%9e%8b%e6%80%bb%e8%bd%a6%e8%bd%b1%e8%be%98%e8%af%9d%ef%bc%9f%e4%b8%a4%e4%b8%aa%e6%bb%91%e5%9d%97%e5%b0%b1%e8%83%bd%e6%b2%bb/</guid>

					<description><![CDATA[在自己电脑上跑本地大模型的人，多半遇到过这样的场景：模型答着答着开始原地打转，同一个意思换四种说法反复讲。多数 [&#8230;]]]></description>
										<content:encoded><![CDATA[
<p class="wp-block-paragraph">在自己电脑上跑本地大模型的人，多半遇到过这样的场景：模型答着答着开始原地打转，同一个意思换四种说法反复讲。多数人的第一反应是模型太小、量化太狠，于是换更大的模型，问题却依旧。</p>



<figure data-wp-context="{&quot;imageId&quot;:&quot;6b015fb59eed3&quot;}" data-wp-interactive="core/image" data-wp-key="6b015fb59eed3" class="wp-block-image size-large aligncenter wp-lightbox-container"><img decoding="async" width="1200" height="675" data-wp-class--hide="state.isContentHidden" data-wp-class--show="state.isContentVisible" data-wp-init="callbacks.setButtonStyles" data-wp-on--click="actions.showLightbox" data-wp-on--load="callbacks.setButtonStyles" data-wp-on--pointerdown="actions.preloadImage" data-wp-on--pointerenter="actions.preloadImageWithDelay" data-wp-on--pointerleave="actions.cancelPreload" data-wp-on-window--resize="callbacks.setButtonStyles" src="https://mylogs.cn/wp-content/uploads/2026/08/8dda8ad3acc6123e37661fd6c8c492f3_header.webp" alt="本地大模型总车轱辘话？两个滑块就能治" class="wp-image-4226" style="max-width:100%;height:auto" srcset="https://mylogs.cn/wp-content/uploads/2026/08/8dda8ad3acc6123e37661fd6c8c492f3_header.webp 1200w, https://mylogs.cn/wp-content/uploads/2026/08/8dda8ad3acc6123e37661fd6c8c492f3_header-300x169.webp 300w, https://mylogs.cn/wp-content/uploads/2026/08/8dda8ad3acc6123e37661fd6c8c492f3_header-1024x576.webp 1024w, https://mylogs.cn/wp-content/uploads/2026/08/8dda8ad3acc6123e37661fd6c8c492f3_header-768x432.webp 768w" sizes="(max-width: 1200px) 100vw, 1200px" /><button
			class="lightbox-trigger"
			type="button"
			aria-haspopup="dialog"
			data-wp-bind--aria-label="state.thisImage.triggerButtonAriaLabel"
			data-wp-init="callbacks.initTriggerButton"
			data-wp-on--click="actions.showLightbox"
			data-wp-style--right="state.thisImage.buttonRight"
			data-wp-style--top="state.thisImage.buttonTop"
		>
			<svg xmlns="http://www.w3.org/2000/svg" width="12" height="12" fill="none" viewBox="0 0 12 12">
				<path fill="#fff" d="M2 0a2 2 0 0 0-2 2v2h1.5V2a.5.5 0 0 1 .5-.5h2V0H2Zm2 10.5H2a.5.5 0 0 1-.5-.5V8H0v2a2 2 0 0 0 2 2h2v-1.5ZM8 12v-1.5h2a.5.5 0 0 0 .5-.5V8H12v2a2 2 0 0 1-2 2H8Zm2-12a2 2 0 0 1 2 2v2h-1.5V2a.5.5 0 0 0-.5-.5H8V0h2Z" />
			</svg>
		</button><figcaption class="wp-element-caption">图片来源：XDA Developers</figcaption></figure>





<p class="wp-block-paragraph">XDA 撰稿人分享了自己的排查过程：元凶往往不是模型，而是设置面板里两个几乎没人动过的滑块——重复惩罚（repeat penalty）与出现惩罚（presence penalty）。二者功能相近却各司其职，网上大量教程把它们混为一谈，反而误导了调参方向。</p>



<h2 class="wp-block-heading">一、默认值为什么不适合日常使用</h2>



<p class="wp-block-paragraph">本地模型的默认参数多为跑分评测调校，并非为日常对话设计。日常很少人每次都精心挑选示例、配上完整思维链指令。</p>



<p class="wp-block-paragraph">LM Studio、Ollama、llama.cpp 基于同一核心引擎，但默认参数各自不同。</p>



<p class="wp-block-paragraph">量化会把问题继续放大。多数人为了塞进显存跑 Q4 或 Q5 而非 FP16，精度一降最先冒头的就是重复和循环，小模型尤其明显。另外 Qwen 倾向过度解释，Gemma 长对话易啰嗦。</p>



<h2 class="wp-block-heading">二、两个滑块分别管什么</h2>



<p class="wp-block-paragraph"><strong>重复惩罚</strong>是词元级别的控制，来自 2019 年的 CTRL 论文，作用是惩罚已出现过的具体词元。中性值 1.0，高于 1.0 开始抑制复用。甜区很窄，调到 1.05 或 1.1 通常就能清掉词语层面的循环；一旦推到 1.2，模型可能连「的」这类常用词都开始躲，输出反而古怪。命名上需留意：llama.cpp 称 repeat_penalty，<a href="https://mylogs.cn/chatgpt-pro-%e9%87%8d%e5%bc%80-200-%e7%be%8e%e5%85%83%e6%a1%a3%ef%bc%9aapi-%e4%bb%b7%e5%80%bc%e8%bf%91%e7%bf%bb%e5%80%8d/">OpenAI</a> 接口最接近 frequency_penalty，Hugging Face 则名 repetition_penalty。</p>



<p class="wp-block-paragraph"><strong>出现惩罚</strong>同样作用在词元层，算法却不同。重复惩罚随复用次数加重，出现惩罚是「出现过就扣一次固定分」，出现十次和一次扣得一样多，中性值 0，常见区间 -2.0 到 2.0。它把模型推离刚用过的那批词，换了词往往就换了话题——「同一个观点绕四遍」正源于此，并非模型真在做语义理解，只是好用的词元被耗尽后的副产品。</p>



<h2 class="wp-block-heading">三、三组实测对照</h2>



<p class="wp-block-paragraph">这位撰稿人用同一条提示词跑了三轮，模型、温度、min-p、系统提示词全部固定，只改这两个参数：「用三种方式解释什么是 REST API：面向新手、懂 HTTP 的人、正在动手实现的人」。</p>



<ol class="wp-block-list"><li><strong>两项都保持中性</strong>：回答表面正常，但 Qwen 犯了老毛病，每个小节都要先把「REST API 是一套规则」重述一遍才进入正题。</li><li><strong>两项都拉满（重复 1.3、出现 1.8）</strong>：开头尚可，接近结尾时不再生成完整句子，退化成一串地理名词堆砌，只能手动中止。这就是过度矫正——惩罚把合理的高概率词元也饿死了。</li><li><strong>取中间值（重复 1.1、出现 0.6）</strong>：输出干净的三段式解释，三类读者各自拿到了不同角度。</li></ol>



<h2 class="wp-block-heading">注意事项</h2>



<p class="wp-block-paragraph">这两个滑块奖励微调、惩罚猛拉。上述数值是在 LM Studio 里跑 Qwen 9B 得出的，只能当起点。温度也会参与其中：处于 0 或 0.1 时模型本就趋于确定，惩罚几乎没有发挥空间，0.6 到 0.8 之间才留有余地。</p>



<p class="wp-block-paragraph">按任务微调同样重要：写代码时重复惩罚应贴近中性，因为代码本就要重复语法；推理类模型需要更低的出现惩罚；Q3、Q4 这类低精度量化整体宜用更轻的惩罚。模型的 Hugging Face 页面若给了推荐配置，从那里开始最省事。</p>



<p class="wp-block-paragraph">来源：XDA Developers</p>
]]></content:encoded>
					
		
		
			</item>
	</channel>
</rss>
