<?xml version="1.0" encoding="UTF-8"?><rss version="2.0"
	xmlns:content="http://purl.org/rss/1.0/modules/content/"
	xmlns:wfw="http://wellformedweb.org/CommentAPI/"
	xmlns:dc="http://purl.org/dc/elements/1.1/"
	xmlns:atom="http://www.w3.org/2005/Atom"
	xmlns:sy="http://purl.org/rss/1.0/modules/syndication/"
	xmlns:slash="http://purl.org/rss/1.0/modules/slash/"
	>

<channel>
	<title>大模型量化 &#8211; mylogs.cn</title>
	<atom:link href="https://mylogs.cn/tag/%e5%a4%a7%e6%a8%a1%e5%9e%8b%e9%87%8f%e5%8c%96/feed/" rel="self" type="application/rss+xml" />
	<link>https://mylogs.cn</link>
	<description>发现、记录、分享</description>
	<lastBuildDate>Sat, 10 Oct 2026 04:32:30 +0000</lastBuildDate>
	<language>zh-Hans</language>
	<sy:updatePeriod>
	hourly	</sy:updatePeriod>
	<sy:updateFrequency>
	1	</sy:updateFrequency>
	
	<item>
		<title>Saluki 27B：2-bit 量化 Qwen，仅 7.89GB</title>
		<link>https://mylogs.cn/saluki-27b%ef%bc%9a2-bit-%e9%87%8f%e5%8c%96-qwen%ef%bc%8c%e4%bb%85-7-89gb/</link>
		
		<dc:creator><![CDATA[steve, zhang]]></dc:creator>
		<pubDate>Sat, 10 Oct 2026 04:32:30 +0000</pubDate>
				<category><![CDATA[科技]]></category>
		<category><![CDATA[AI 智能体]]></category>
		<category><![CDATA[llama.cpp]]></category>
		<category><![CDATA[Qwen3.8]]></category>
		<category><![CDATA[Saluki 27B]]></category>
		<category><![CDATA[Underdog AI]]></category>
		<category><![CDATA[大模型量化]]></category>
		<guid isPermaLink="false">https://mylogs.cn/saluki-27b%ef%bc%9a2-bit-%e9%87%8f%e5%8c%96-qwen%ef%bc%8c%e4%bb%85-7-89gb/</guid>

					<description><![CDATA[人工智能实验室 Underdog AI 本月发布 Saluki 27B 模型。这个「27B」背后，是一次把大模 [&#8230;]]]></description>
										<content:encoded><![CDATA[<p class="wp-block-paragraph">人工智能实验室 Underdog AI 本月发布 Saluki 27B 模型。这个「27B」背后，是一次把大模型塞进极小体积的尝试：它把约 54 GB 的全尺寸模型压缩到 7.89 GB，目标只有一个——在普通显卡上也能跑得动的本地 AI 智能体。</p>
<h2 class="wp-block-heading">2-bit 量化，只留文字能力</h2>
<p class="wp-block-paragraph">Saluki 27B 是 Qwen3.8-27B 的 2-bit 量化调优版本，采用 IQ2-mix 混合 2-bit 方案，仅保留文字输入/输出能力，文件大小仅 7.89 GB。该模型由 ConwayResearch 在 Hugging Face 以 Apache 2.0 许可发布。</p>
<h2 class="wp-block-heading">工具调用反而更强</h2>
<p class="wp-block-paragraph">Underdog 表示，Saluki 27B 针对智能体（Agent）应用设计，擅长日常推理与工具使用，数学表现则相对逊色。值得注意的是，其工具选择和多工具并行调用表现甚至优于全尺寸的 Qwen3.8-27B。据模型卡在 120 项工具调用测试中的结果，Saluki 27B 通过 88 项，高于原版的 84 项。</p>
<h2 class="wp-block-heading">即拖即跑，兼容标准生态</h2>
<p class="wp-block-paragraph">模型采用标准 llama.cpp 格式（GGUF），可在标准 llama.cpp 及基于它构建的应用中直接加载，无需任何自定义编译。若需要图像能力，可额外加载约 629 MB 或 928 MB 的视觉插件文件。官方给出的运行命令为：llama-server -m Underdog-Saluki-27B-1.0-IQ2-mix.gguf &#8211;jinja -ngl 99 -fa on -c 32768，其中 &#8211;jinja 用于开启 Qwen3.8 对话模板，以正确处理工具调用与思考模式。</p>
<p class="wp-block-paragraph">对开发者而言，这款模型的价值在于「轻」：单张消费级显卡甚至树莓派级设备即可部署，适合桌面与边缘侧的智能体场景。</p>
<figure data-wp-context="{&quot;imageId&quot;:&quot;6aca28a82250d&quot;}" data-wp-interactive="core/image" data-wp-key="6aca28a82250d" class="wp-block-image wp-lightbox-container"><img decoding="async" data-wp-class--hide="state.isContentHidden" data-wp-class--show="state.isContentVisible" data-wp-init="callbacks.setButtonStyles" data-wp-on--click="actions.showLightbox" data-wp-on--load="callbacks.setButtonStyles" data-wp-on--pointerdown="actions.preloadImage" data-wp-on--pointerenter="actions.preloadImageWithDelay" data-wp-on--pointerleave="actions.cancelPreload" data-wp-on-window--resize="callbacks.setButtonStyles" src="https://mylogs.cn/wp-content/uploads/2026/10/ebeda3c43f01413c6b07c1f229e443ae_header.webp" alt="Saluki 27B 模型概念图" title="图片来源：IT之家" style="max-width:100%;height:auto;"/><button
			class="lightbox-trigger"
			type="button"
			aria-haspopup="dialog"
			data-wp-bind--aria-label="state.thisImage.triggerButtonAriaLabel"
			data-wp-init="callbacks.initTriggerButton"
			data-wp-on--click="actions.showLightbox"
			data-wp-style--right="state.thisImage.buttonRight"
			data-wp-style--top="state.thisImage.buttonTop"
		>
			<svg xmlns="http://www.w3.org/2000/svg" width="12" height="12" fill="none" viewBox="0 0 12 12">
				<path fill="#fff" d="M2 0a2 2 0 0 0-2 2v2h1.5V2a.5.5 0 0 1 .5-.5h2V0H2Zm2 10.5H2a.5.5 0 0 1-.5-.5V8H0v2a2 2 0 0 0 2 2h2v-1.5ZM8 12v-1.5h2a.5.5 0 0 0 .5-.5V8H12v2a2 2 0 0 1-2 2H8Zm2-12a2 2 0 0 1 2 2v2h-1.5V2a.5.5 0 0 0-.5-.5H8V0h2Z" />
			</svg>
		</button></figure>]]></content:encoded>
					
		
		
			</item>
	</channel>
</rss>
