<?xml version="1.0" encoding="UTF-8"?><rss version="2.0"
	xmlns:content="http://purl.org/rss/1.0/modules/content/"
	xmlns:wfw="http://wellformedweb.org/CommentAPI/"
	xmlns:dc="http://purl.org/dc/elements/1.1/"
	xmlns:atom="http://www.w3.org/2005/Atom"
	xmlns:sy="http://purl.org/rss/1.0/modules/syndication/"
	xmlns:slash="http://purl.org/rss/1.0/modules/slash/"
	>

<channel>
	<title>Garlic LLM &#8211; mylogs.cn</title>
	<atom:link href="https://mylogs.cn/tag/garlic-llm/feed/" rel="self" type="application/rss+xml" />
	<link>https://mylogs.cn</link>
	<description>发现、记录、分享</description>
	<lastBuildDate>Tue, 17 Nov 2026 08:25:27 +0000</lastBuildDate>
	<language>zh-Hans</language>
	<sy:updatePeriod>
	hourly	</sy:updatePeriod>
	<sy:updateFrequency>
	1	</sy:updateFrequency>
	
	<item>
		<title>破解版PS4跑9B大模型：每秒43词元，完全离线</title>
		<link>https://mylogs.cn/%e7%a0%b4%e8%a7%a3%e7%89%88ps4%e8%b7%919b%e5%a4%a7%e6%a8%a1%e5%9e%8b%ef%bc%9a%e6%af%8f%e7%a7%9243%e8%af%8d%e5%85%83%ef%bc%8c%e5%ae%8c%e5%85%a8%e7%a6%bb%e7%ba%bf/</link>
		
		<dc:creator><![CDATA[steve, zhang]]></dc:creator>
		<pubDate>Tue, 17 Nov 2026 08:25:27 +0000</pubDate>
				<category><![CDATA[科技]]></category>
		<category><![CDATA[AI工具]]></category>
		<category><![CDATA[Garlic LLM]]></category>
		<category><![CDATA[PS4]]></category>
		<category><![CDATA[Qwen3.5]]></category>
		<category><![CDATA[开源项目]]></category>
		<category><![CDATA[本地大模型]]></category>
		<category><![CDATA[越狱]]></category>
		<category><![CDATA[通义千问]]></category>
		<guid isPermaLink="false">https://mylogs.cn/%e7%a0%b4%e8%a7%a3%e7%89%88ps4%e8%b7%919b%e5%a4%a7%e6%a8%a1%e5%9e%8b%ef%bc%9a%e6%af%8f%e7%a7%9243%e8%af%8d%e5%85%83%ef%bc%8c%e5%ae%8c%e5%85%a8%e7%a6%bb%e7%ba%bf/</guid>

					<description><![CDATA[一台2013年发售的老旧游戏主机，如今能在完全断网的情况下跑起一个90亿参数的大语言模型。这不是科幻设定，而是 [&#8230;]]]></description>
										<content:encoded><![CDATA[<p class="wp-block-paragraph">一台2013年发售的老旧游戏主机，如今能在完全断网的情况下跑起一个90亿参数的大语言模型。这不是科幻设定，而是开源项目 Garlic LLM 交出的实测成绩——在越狱版的索尼 PlayStation 4 上，文本生成速度最高可达每秒43个词元（Token），部分场景甚至不输主流个人电脑。</p>
<p class="wp-block-paragraph">这个由开发者 Leonardo Alegría 打造的项目，把游戏主机变成了一台可离线聊天、语音对话、编写代码的&#8221;本地AI终端&#8221;，也为老旧硬件的再利用提供了想象空间。</p>
<figure data-wp-context="{&quot;imageId&quot;:&quot;6afc2c27a94e5&quot;}" data-wp-interactive="core/image" data-wp-key="6afc2c27a94e5" class="wp-block-image wp-lightbox-container"><img decoding="async" data-wp-class--hide="state.isContentHidden" data-wp-class--show="state.isContentVisible" data-wp-init="callbacks.setButtonStyles" data-wp-on--click="actions.showLightbox" data-wp-on--load="callbacks.setButtonStyles" data-wp-on--pointerdown="actions.preloadImage" data-wp-on--pointerenter="actions.preloadImageWithDelay" data-wp-on--pointerleave="actions.cancelPreload" data-wp-on-window--resize="callbacks.setButtonStyles" src="https://mylogs.cn/wp-content/uploads/2026/11/body_garlic-llm-ps4.webp" alt="Garlic LLM 项目在越狱 PS4 上运行本地大模型的界面演示" style="max-width:100%;height:auto;"/><button
			class="lightbox-trigger"
			type="button"
			aria-haspopup="dialog"
			data-wp-bind--aria-label="state.thisImage.triggerButtonAriaLabel"
			data-wp-init="callbacks.initTriggerButton"
			data-wp-on--click="actions.showLightbox"
			data-wp-style--right="state.thisImage.buttonRight"
			data-wp-style--top="state.thisImage.buttonTop"
		>
			<svg xmlns="http://www.w3.org/2000/svg" width="12" height="12" fill="none" viewBox="0 0 12 12">
				<path fill="#fff" d="M2 0a2 2 0 0 0-2 2v2h1.5V2a.5.5 0 0 1 .5-.5h2V0H2Zm2 10.5H2a.5.5 0 0 1-.5-.5V8H0v2a2 2 0 0 0 2 2h2v-1.5ZM8 12v-1.5h2a.5.5 0 0 0 .5-.5V8H12v2a2 2 0 0 1-2 2H8Zm2-12a2 2 0 0 1 2 2v2h-1.5V2a.5.5 0 0 0-.5-.5H8V0h2Z" />
			</svg>
		</button><figcaption>图片来源：IT之家</figcaption></figure>
<h2 class="wp-block-heading">绕开驱动：直接和GPU&#8221;对话&#8221;</h2>
<p class="wp-block-paragraph">Garlic LLM 最特别的地方在于对硬件底层的处理。常见的本地大模型方案大多依赖 Vulkan 或 OpenCL 这类图形框架，先由驱动层中转，再调用显卡算力。该项目却绕开 PS4 原本面向游戏图形处理的驱动，直接向这台基于 AMD GCN 架构 GPU 的主机下达底层指令。</p>
<p class="wp-block-paragraph">开发者没有使用现成的 llama.cpp 或 Vulkan 移植方案，而是用 OpenCL C 手写计算算子，并手动构建 PM4 指令缓冲，直接把命令发给 GPU。项目名&#8221;Garlic（大蒜）&#8221;取自 PS4 的 GPU 访问系统内存所用的内存路径名。CPU 端用纯 C 语言处理分词、界面、文本渲染与音频，整套构建基于开源的 OpenOrbis 工具链。这种&#8221;越级&#8221;通信降低了指令延迟，代价是 PS4 未提供通用 GPU 计算接口，所有底层工具都得自己写。</p>
<h2 class="wp-block-heading">90亿参数如何塞进8GB内存</h2>
<p class="wp-block-paragraph">PS4 只有8GB统一内存，由 CPU 和 GPU 共享，而90亿参数的模型仅权重就需至少9GB。解法是量化压缩：采用阿里巴巴的通义千问 Qwen3.5-9B 作为基座，把大部分权重压到4位、每层最大的两个矩阵用3位，平均约3.5位，连同加速数据整体压到约4.5 GiB。注意力缓存也做了4位量化，从而支持约1.6万词元的上下文窗口。</p>
<figure class="wp-block-table"><table><thead><tr><th>组件 / 指标</th><th>参数</th></tr></thead><tbody><tr><td>模型基座</td><td>通义千问 Qwen3.5-9B（90亿参数）</td></tr><tr><td>量化方式</td><td>4位为主、部分3位，平均约3.5位</td></tr><tr><td>模型+加速数据</td><td>约4.5 GiB</td></tr><tr><td>上下文窗口</td><td>约1.6万词元</td></tr><tr><td>语音组件</td><td>Chatterbox 合成 + Parakeet 识别</td></tr><tr><td>安装包体积</td><td>约5.66GB</td></tr></tbody></table></figure>
<p class="wp-block-paragraph">在速度上，项目借助 Qwen3.5-9B 自带的多词元预测（MTP）机制做推测解码：先起草最多两个词元，再由完整模型验证。实测普通文本生成约每秒31至39个词元，代码生成最高每秒43个词元；默认采样温度0.7，与阿里官方对通用场景的推荐一致。</p>
<h2 class="wp-block-heading">不只能打字：语音、推理、跑代码</h2>
<p class="wp-block-paragraph">除文字聊天外，Garlic LLM 还集成完整语音链路：用英伟达的 Parakeet TDT 0.6B v3 做语音识别，支持25种欧洲语言；用 Chatterbox 做语音合成，支持7种语言输出。玩家按住手柄按键即可录音，全程离线对话，开启语音后速度约每秒22个词元。应用还提供&#8221;思考模式&#8221;，让模型先推理再回答，并能在主机上执行 AI 生成的 Python 代码。</p>
<p class="wp-block-paragraph">需要说明的是，每秒43个词元是代码生成场景的峰值，并非日常平均值。不同模型、量化精度和软件之间的词元速度不能直接横向比较，&#8221;比电脑还快&#8221;更多是一种宣传式对比，而非严格基准测试。</p>
<h2 class="wp-block-heading">想上手需要什么</h2>
<p class="wp-block-paragraph">运行 Garlic LLM 需要一台运行 GoldHEN 自制系统的越狱版 PS4、约6GB可用空间，以及从 Hugging Face 免费下载的安装包，通过软件包安装器安装。开发者已在固件11.52的 PS4 Slim 上完成测试，源码以 GPLv3 协议在 GitHub 开放。这是面向技术爱好者的成果展示，而非开箱即用的产品，但它证明：经过极致的软硬协同优化，十多年前的老主机也能跑通一场完整的离线智能对话。</p>
<h2 class="wp-block-heading">常见问题</h2>
<h3 class="wp-block-heading">Garlic LLM 可以让普通 PS4 直接运行吗？</h3>
<p class="wp-block-paragraph">不可以。它需要越狱并运行 GoldHEN 自制系统，属于面向开发者的实验性项目，且仅在特定机型上验证过。</p>
<h3 class="wp-block-heading">为什么说它&#8221;完全离线&#8221;？</h3>
<p class="wp-block-paragraph">模型、语音识别与合成组件全部打包在本地安装包内，运行时不需要联网，聊天和语音对话都在主机本地完成。</p>
<h3 class="wp-block-heading">每秒43词元是常态速度吗？</h3>
<p class="wp-block-paragraph">不是。这是代码生成场景的峰值，常规文本生成约每秒31至39个词元，开启语音后约22个词元。</p>
<h2 class="wp-block-heading">信息来源</h2>
<p class="wp-block-paragraph">本文数据来源于 Gigazine、IT之家、腾讯新闻及开发者在 Hugging Face、GitHub 公开的项目资料，图片来源：IT之家。</p>]]></content:encoded>
					
		
		
			</item>
	</channel>
</rss>
