<?xml version="1.0" encoding="UTF-8"?><rss version="2.0"
	xmlns:content="http://purl.org/rss/1.0/modules/content/"
	xmlns:wfw="http://wellformedweb.org/CommentAPI/"
	xmlns:dc="http://purl.org/dc/elements/1.1/"
	xmlns:atom="http://www.w3.org/2005/Atom"
	xmlns:sy="http://purl.org/rss/1.0/modules/syndication/"
	xmlns:slash="http://purl.org/rss/1.0/modules/slash/"
	>

<channel>
	<title>Inkling 2 Mini &#8211; mylogs.cn</title>
	<atom:link href="https://mylogs.cn/tag/inkling-2-mini/feed/" rel="self" type="application/rss+xml" />
	<link>https://mylogs.cn</link>
	<description>发现、记录、分享</description>
	<lastBuildDate>Sun, 22 Nov 2026 18:02:30 +0000</lastBuildDate>
	<language>zh-Hans</language>
	<sy:updatePeriod>
	hourly	</sy:updatePeriod>
	<sy:updateFrequency>
	1	</sy:updateFrequency>
	
	<item>
		<title>26B模型塞进20GB内存：Ollama更新让Mac本地并发推理</title>
		<link>https://mylogs.cn/26b%e6%a8%a1%e5%9e%8b%e5%a1%9e%e8%bf%9b20gb%e5%86%85%e5%ad%98%ef%bc%9aollama%e6%9b%b4%e6%96%b0%e8%ae%a9mac%e6%9c%ac%e5%9c%b0%e5%b9%b6%e5%8f%91%e6%8e%a8%e7%90%86/</link>
		
		<dc:creator><![CDATA[steve, zhang]]></dc:creator>
		<pubDate>Sun, 22 Nov 2026 18:02:30 +0000</pubDate>
				<category><![CDATA[科技]]></category>
		<category><![CDATA[AI工具]]></category>
		<category><![CDATA[Apple Silicon]]></category>
		<category><![CDATA[Inkling 2 Mini]]></category>
		<category><![CDATA[Ollama]]></category>
		<category><![CDATA[并发推理]]></category>
		<category><![CDATA[开源模型]]></category>
		<category><![CDATA[本地大模型]]></category>
		<guid isPermaLink="false">https://mylogs.cn/26b%e6%a8%a1%e5%9e%8b%e5%a1%9e%e8%bf%9b20gb%e5%86%85%e5%ad%98%ef%bc%9aollama%e6%9b%b4%e6%96%b0%e8%ae%a9mac%e6%9c%ac%e5%9c%b0%e5%b9%b6%e5%8f%91%e6%8e%a8%e7%90%86/</guid>

					<description><![CDATA[本地跑模型的体验正被一次版本更新改写。2026年11月21日，Ollama 发布 v0.40.17 稳定版，最 [&#8230;]]]></description>
										<content:encoded><![CDATA[<figure data-wp-context="{&quot;imageId&quot;:&quot;6b0330e04ba82&quot;}" data-wp-interactive="core/image" data-wp-key="6b0330e04ba82" class="wp-block-image wp-lightbox-container"><img decoding="async" data-wp-class--hide="state.isContentHidden" data-wp-class--show="state.isContentVisible" data-wp-init="callbacks.setButtonStyles" data-wp-on--click="actions.showLightbox" data-wp-on--load="callbacks.setButtonStyles" data-wp-on--pointerdown="actions.preloadImage" data-wp-on--pointerenter="actions.preloadImageWithDelay" data-wp-on--pointerleave="actions.cancelPreload" data-wp-on-window--resize="callbacks.setButtonStyles" src="https://mylogs.cn/wp-content/uploads/2026/11/header_ollama04017.webp" alt="Ollama v0.40.17 发布说明" style="max-width:100%;height:auto;"/><button
			class="lightbox-trigger"
			type="button"
			aria-haspopup="dialog"
			data-wp-bind--aria-label="state.thisImage.triggerButtonAriaLabel"
			data-wp-init="callbacks.initTriggerButton"
			data-wp-on--click="actions.showLightbox"
			data-wp-style--right="state.thisImage.buttonRight"
			data-wp-style--top="state.thisImage.buttonTop"
		>
			<svg xmlns="http://www.w3.org/2000/svg" width="12" height="12" fill="none" viewBox="0 0 12 12">
				<path fill="#fff" d="M2 0a2 2 0 0 0-2 2v2h1.5V2a.5.5 0 0 1 .5-.5h2V0H2Zm2 10.5H2a.5.5 0 0 1-.5-.5V8H0v2a2 2 0 0 0 2 2h2v-1.5ZM8 12v-1.5h2a.5.5 0 0 0 .5-.5V8H12v2a2 2 0 0 1-2 2H8Zm2-12a2 2 0 0 1 2 2v2h-1.5V2a.5.5 0 0 0-.5-.5H8V0h2Z" />
			</svg>
		</button><figcaption>图片来源：Ollama</figcaption></figure>
<p class="wp-block-paragraph">本地跑模型的体验正被一次版本更新改写。2026年11月21日，Ollama 发布 v0.40.17 稳定版，最受关注的新增是 Thinking Machines 推出的 Inkling 2 Mini：26B 总参数、每词元仅激活 5.4B，约 20GB 空间即可放进一台 Mac。本次版本涉及 11 位贡献者、26 次提交与 272 个文件变更，覆盖模型、运行时、命令行、工具调用与 API 兼容。</p>
<h2 class="wp-block-heading">循环层：用重复计算换参数规模</h2>
<p class="wp-block-paragraph">Inkling 2 Mini 的关键设计是&#8221;循环层&#8221;。模型共 26B 参数，每次推理只激活 5.4B；同一批层被重复运行（据社区归纳，中间 24 层中的 12 层每词元运行三次），使单个词元获得比参数体量表面看起来更高的计算量。它支持文本与图像输入、工具调用和思考模式，在 SWE-Bench Verified 上得分 79.2%；在 Artificial Analysis 上与 Qwen3.8 27B 打成平手，成本约为后者六分之一。运行方式为 <code>ollama run inkling-2-mini</code>。</p>
<p class="wp-block-paragraph">需注意，该模型本次仅支持 Apple Silicon，PC 支持将在后续版本提供。官方门槛是一台 Mac 上约 20GB——这是&#8221;装完即可运行&#8221;的日常档。社区有人把模型压到 5.38GB 跑通，但 HumanEval 得分从原模型的 92.7% 降到 70.7%；两个数字标出了&#8221;可用&#8221;与&#8221;极限压缩&#8221;的代价。</p>
<h2 class="wp-block-heading">比新模型更实在的：Mac 终于能并发服务</h2>
<p class="wp-block-paragraph">发布说明里，Apple Silicon 并发只有一句话：Ollama 现在可在 Apple Silicon 上同时服务多个请求。此前模型加载后请求串行处理——要么排队，要么再开端口加载第二份权重、内存直接翻倍。放到本地智能体场景，这条改动更贴近实际使用：后台跑总结任务，前台还能继续对话。配套的 MLX 运行器新增并发生成、批量推测验证、跨请求槽位复用已保存前缀、按内存压力调整历史记录。</p>
<figure class="wp-block-table"><table><thead><tr><th>更新项</th><th>v0.40.17 具体变化</th></tr></thead><tbody><tr><td>新模型</td><td>Inkling 2 Mini，26B 总参／5.4B 激活，SWE-Bench Verified 79.2%</td></tr><tr><td>并发</td><td>Apple Silicon 支持同时服务多个请求，MLX 运行器支持并发生成</td></tr><tr><td>工具加载</td><td>ollama launch claude 支持延迟加载 MCP 工具，按需载入</td></tr><tr><td>思考设置</td><td>关闭思考不再被忽略，映射到模型支持的最低推理等级</td></tr><tr><td>API 兼容</td><td>工具定义保留 Ollama 未建模的 JSON Schema 关键字</td></tr><tr><td>显卡修复</td><td>Vulkan 核显改用 mmap；Windows 核显部分卸载不再 KV 缓存分配失败</td></tr></tbody></table></figure>
<h2 class="wp-block-heading">容易被忽略却关键的修复</h2>
<p class="wp-block-paragraph">ollama launch claude 支持 Claude Code 的延迟工具加载：用到哪个 MCP 工具才把定义送进上下文，不再是开局一次性塞满几十个工具、吃掉几千词元。改 context shift 设置不再触发模型重新加载，省去半分钟等待。API 传入的工具定义会保留未建模的 JSON Schema 关键字，利好复杂参数约束。Vulkan 后端对集成显卡改用 mmap，修复共享内存 GPU 上&#8221;Failed to allocate pinned memory&#8221;的加载失败；Windows 集成显卡部分卸载模型时不再出现 KV 缓存分配失败。</p>
<p class="wp-block-paragraph">交互细节也一并打磨：非交互 shell 中不带参数运行 ollama 现在打印帮助而非报错；多行输入块中 Ctrl+C 或 Ctrl+G 可干净退出；ollama launch chatgpt &#8211;restore 切换配置前先询问，并保留已有设置与聊天记录。</p>
<h2 class="wp-block-heading">值不值得升级</h2>
<p class="wp-block-paragraph">对已用 Ollama 跑本地智能体的用户，升级核心不是榜单分数，而是&#8221;本地部署终于能同时干两件事&#8221;——并发与 MCP 按需加载补上了相对云端的短板。对观望者，Inkling 2 Mini 提供了一台 20GB 内存的 Mac 就能上手、代码基准不俗的新选择，但需接受它暂不支持 Windows。</p>
<h2 class="wp-block-heading">常见问题</h2>
<p class="wp-block-paragraph"><strong>Windows 用户现在能用吗？</strong> 不能。该模型在 v0.40.17 中仅支持 Apple Silicon。</p>
<p class="wp-block-paragraph"><strong>20GB 是模型文件大小吗？</strong> 不是精确等同，是官方给出的&#8221;装完即可运行&#8221;内存门槛；社区压到 5.38GB 的版本得分明显下降。</p>
<h2 class="wp-block-heading">信息来源</h2>
<p class="wp-block-paragraph">Ollama v0.40.17 官方发布说明、Thinking Machines／Hugging Face 模型卡、微信公众号技术解读（2026年11月20日至22日）。性能数据多为厂商或社区自报，不构成选型建议。</p>]]></content:encoded>
					
		
		
			</item>
	</channel>
</rss>
