<?xml version="1.0" encoding="UTF-8"?><rss version="2.0"
	xmlns:content="http://purl.org/rss/1.0/modules/content/"
	xmlns:wfw="http://wellformedweb.org/CommentAPI/"
	xmlns:dc="http://purl.org/dc/elements/1.1/"
	xmlns:atom="http://www.w3.org/2005/Atom"
	xmlns:sy="http://purl.org/rss/1.0/modules/syndication/"
	xmlns:slash="http://purl.org/rss/1.0/modules/slash/"
	>

<channel>
	<title>vLLM &#8211; mylogs.cn</title>
	<atom:link href="https://mylogs.cn/tag/vllm/feed/" rel="self" type="application/rss+xml" />
	<link>https://mylogs.cn</link>
	<description>发现、记录、分享</description>
	<lastBuildDate>Tue, 29 Sep 2026 16:39:33 +0000</lastBuildDate>
	<language>zh-Hans</language>
	<sy:updatePeriod>
	hourly	</sy:updatePeriod>
	<sy:updateFrequency>
	1	</sy:updateFrequency>
	
	<item>
		<title>本地大模型部署工具横评：五款怎么选</title>
		<link>https://mylogs.cn/%e6%9c%ac%e5%9c%b0%e5%a4%a7%e6%a8%a1%e5%9e%8b%e9%83%a8%e7%bd%b2%e5%b7%a5%e5%85%b7%e6%a8%aa%e8%af%84%ef%bc%9a%e4%ba%94%e6%ac%be%e6%80%8e%e4%b9%88%e9%80%89/</link>
		
		<dc:creator><![CDATA[steve, zhang]]></dc:creator>
		<pubDate>Tue, 15 Sep 2026 00:18:16 +0000</pubDate>
				<category><![CDATA[科技]]></category>
		<category><![CDATA[LM Studio]]></category>
		<category><![CDATA[Ollama]]></category>
		<category><![CDATA[vLLM]]></category>
		<category><![CDATA[开源模型]]></category>
		<category><![CDATA[本地大模型]]></category>
		<category><![CDATA[本地部署]]></category>
		<category><![CDATA[端侧AI]]></category>
		<guid isPermaLink="false">https://mylogs.cn/%e6%9c%ac%e5%9c%b0%e5%a4%a7%e6%a8%a1%e5%9e%8b%e9%83%a8%e7%bd%b2%e5%b7%a5%e5%85%b7%e6%a8%aa%e8%af%84%ef%bc%9a%e4%ba%94%e6%ac%be%e6%80%8e%e4%b9%88%e9%80%89/</guid>

					<description><![CDATA[云端大模型 API 用着顺手，直到账单到来，或数据因合规无法上云，或网络不稳需要离线。此时，把模型跑在自己电脑 [&#8230;]]]></description>
										<content:encoded><![CDATA[<p class="wp-block-paragraph">云端大模型 API 用着顺手，直到账单到来，或数据因合规无法上云，或网络不稳需要离线。此时，把模型跑在自己电脑上就成了刚需。Ollama、LM Studio、vLLM、GPT4All、Jan 等工具让本地部署从极客玩具变成可选项。本文横评五款主流本地大模型工具，讲清各自适合谁。</p>
<figure data-wp-context="{&quot;imageId&quot;:&quot;6b015f5a64131&quot;}" data-wp-interactive="core/image" data-wp-key="6b015f5a64131" class="wp-block-image wp-lightbox-container"><img decoding="async" data-wp-class--hide="state.isContentHidden" data-wp-class--show="state.isContentVisible" data-wp-init="callbacks.setButtonStyles" data-wp-on--click="actions.showLightbox" data-wp-on--load="callbacks.setButtonStyles" data-wp-on--pointerdown="actions.preloadImage" data-wp-on--pointerenter="actions.preloadImageWithDelay" data-wp-on--pointerleave="actions.cancelPreload" data-wp-on-window--resize="callbacks.setButtonStyles" style="max-width:100%;height:auto" src="https://mylogs.cn/wp-content/uploads/2026/09/20260915_localllm_header.webp" alt="本地大模型部署工具横评示意图" /><button
			class="lightbox-trigger"
			type="button"
			aria-haspopup="dialog"
			data-wp-bind--aria-label="state.thisImage.triggerButtonAriaLabel"
			data-wp-init="callbacks.initTriggerButton"
			data-wp-on--click="actions.showLightbox"
			data-wp-style--right="state.thisImage.buttonRight"
			data-wp-style--top="state.thisImage.buttonTop"
		>
			<svg xmlns="http://www.w3.org/2000/svg" width="12" height="12" fill="none" viewBox="0 0 12 12">
				<path fill="#fff" d="M2 0a2 2 0 0 0-2 2v2h1.5V2a.5.5 0 0 1 .5-.5h2V0H2Zm2 10.5H2a.5.5 0 0 1-.5-.5V8H0v2a2 2 0 0 0 2 2h2v-1.5ZM8 12v-1.5h2a.5.5 0 0 0 .5-.5V8H12v2a2 2 0 0 1-2 2H8Zm2-12a2 2 0 0 1 2 2v2h-1.5V2a.5.5 0 0 0-.5-.5H8V0h2Z" />
			</svg>
		</button><figcaption>图片来源：WorkBuddy AI 生成</figcaption></figure>
<h2 class="wp-block-heading">先说为什么本地跑</h2>
<p class="wp-block-paragraph">本地部署有三个核心理由。隐私：提示词与回答都不出本机，适合代码仓库、病历、内部文档等敏感材料。省钱：硬件是一次性投入，不再有随用量增长的按 token 计费。离线：断网也能工作，出差、飞行模式照常运行。</p>
<p class="wp-block-paragraph">代价是需要一台性能足够的电脑，尤其是显卡与内存。</p>
<h2 class="wp-block-heading">五款工具横评</h2>
<figure class="wp-block-table"><table class="has-fixed-layout"><thead><tr><th scope="col">工具</th><th scope="col">界面</th><th scope="col">是否需 GPU</th><th scope="col">最擅长</th><th scope="col">开源</th><th scope="col">本地 API</th></tr></thead><tbody><tr><td>Ollama</td><td>命令行</td><td>推荐（可纯 CPU）</td><td>最快起步、开发集成</td><td>是</td><td>是（端口 11434）</td></tr><tr><td>LM Studio</td><td>图形界面</td><td>推荐</td><td>非技术用户、模型浏览</td><td>否（桌面应用）</td><td>是（端口 1234）</td></tr><tr><td>vLLM</td><td>命令行/服务</td><td>必需</td><td>多人并发生产部署</td><td>是</td><td>是</td></tr><tr><td>GPT4All</td><td>图形界面</td><td>不需要（CPU 优化）</td><td>低配电脑、纯离线</td><td>是</td><td>否</td></tr><tr><td>Jan</td><td>图形界面</td><td>推荐</td><td>开源替代、可审计</td><td>是（AGPLv3）</td><td>是</td></tr></tbody></table></figure>
<h2 class="wp-block-heading">逐个看</h2>
<p class="wp-block-paragraph">Ollama 是命令行优先的运行环境，一条命令完成安装、拉取、运行，提供 <a href="https://mylogs.cn/chatgpt-pro-%e9%87%8d%e5%bc%80-200-%e7%be%8e%e5%85%83%e6%a1%a3%ef%bc%9aapi-%e4%bb%b7%e5%80%bc%e8%bf%91%e7%bf%bb%e5%80%8d/">OpenAI</a> 兼容的本地 API（端口 11434），跨 <a href="https://mylogs.cn/ai-%e5%8a%a0%e9%80%9f%e9%bb%91%e5%ae%a2%e5%b7%a5%e5%85%b7%ef%bc%8c%e8%8b%b9%e6%9e%9c%e7%b4%a7%e6%80%a5%e6%8f%90%e9%80%9f%e5%ae%89%e5%85%a8%e6%9b%b4%e6%96%b0/">macOS</a>、Linux、Windows，GitHub 星标超过 10 万，模型库丰富且精选。短板是并发与批处理较弱、没有图形界面、高级调参空间有限，适合开发者与快速验证。</p>
<p class="wp-block-paragraph">LM Studio 是桌面应用，内置模型市场（对接 Hugging Face）、可视化参数调节、多标签页与本地服务器模式（OpenAI 兼容，端口 1234），并支持多模态模型。它是闭源桌面应用，个人免费（商用需确认许可），主要支持 macOS 与 Windows，适合不想碰命令行的用户。</p>
<p class="wp-block-paragraph">vLLM 是生产级推理引擎，采用 PagedAttention 与连续批处理，吞吐较原生 Hugging Face 实现高 10 至 20 倍，支持多 GPU 张量并行与 OpenAI 兼容 API，偏 Linux。部署最复杂，适合服务大量并发用户。</p>
<p class="wp-block-paragraph">GPT4All 针对 CPU 优化，无需独立显卡，默认模型仅 3 至 4GB，完全离线、无网络请求，开源免费。模型选择有限，不提供 API 服务，适合低配机与纯隐私场景。</p>
<p class="wp-block-paragraph">Jan 是完全开源（AGPLv3）的 Electron 应用，提供 ChatGPT 式界面、本地 API 与插件扩展，跨平台。生态较新、推理性能不及 vLLM，适合重视可审计、可修改的开源偏好者。</p>
<h2 class="wp-block-heading">硬件怎么配</h2>
<p class="wp-block-paragraph">模型大小决定显存需求。7B 参数模型做 4-bit 量化约需 4 至 6GB 显存或内存；13B 约 8GB；70B 约 40GB 以上。Apple M 系列芯片凭借统一内存架构，能跑比同价位独显更大的模型。</p>
<p class="wp-block-paragraph">量化到 4-bit（如 Q4_K_M）可将显存需求减半，质量损失很小。中文场景推荐 Qwen、DeepSeek 系列；代码任务可选 CodeLlama、DeepSeek Coder。底层引擎 llama.cpp 支持把模型层卸载到 NVIDIA、AMD、Intel 显卡，也支持纯 CPU 推理。</p>
<h2 class="wp-block-heading">选型建议</h2>
<p class="wp-block-paragraph">入门、想最快跑起来，选 Ollama；不喜欢命令行，选 LM Studio；没有独显、要纯离线，选 GPT4All；要服务多人并发，选 vLLM；要开源可审计，选 Jan。多数个人用户从 Ollama 起步最省心，熟悉后再视需要上 vLLM。</p>
<h2 class="wp-block-heading">FAQ</h2>
<p class="wp-block-paragraph"><strong>没有显卡能跑吗？</strong> 能。7B 以下小模型可纯 CPU 运行（GPT4All 专为此优化），但生成速度较慢；Apple M 系列统一内存也能跑较大模型。</p>
<p class="wp-block-paragraph"><strong>Ollama 和 LM Studio 哪个好？</strong> 没有绝对优劣。Ollama 生态兼容最广、占用小；LM Studio 对图形界面用户更友好。两者都能在几分钟内跑起来。</p>
<p class="wp-block-paragraph"><strong>本地模型质量够用吗？</strong> 对代码补全、文档摘要、分类等明确任务，开源权重模型差距很小；复杂推理仍落后于顶尖闭源模型。在敏感数据、固定高频、离线需求下，本地部署最具性价比。</p>
<p class="wp-block-paragraph">来源：llama.cpp 项目文档、Ollama 与 vLLM 官方文档、SitePoint 2026 本地大模型指南等综合整理。</p>]]></content:encoded>
					
		
		
			</item>
		<item>
		<title>显存不够用？vLLM 把 KV 缓存拆成了 16 个词一页</title>
		<link>https://mylogs.cn/vllm-paged-attention-kv-cache-continuous-batching-deep-dive/</link>
		
		<dc:creator><![CDATA[steve, zhang]]></dc:creator>
		<pubDate>Fri, 07 Aug 2026 03:11:23 +0000</pubDate>
				<category><![CDATA[科技]]></category>
		<category><![CDATA[AI基础设施]]></category>
		<category><![CDATA[KV缓存]]></category>
		<category><![CDATA[vLLM]]></category>
		<category><![CDATA[大模型推理]]></category>
		<category><![CDATA[开源项目]]></category>
		<guid isPermaLink="false">https://mylogs.cn/vllm-paged-attention-kv-cache-continuous-batching-deep-dive/</guid>

					<description><![CDATA[同样一张显卡，同样一个模型，换个推理引擎，能同时服务的用户数可以差出好几倍。差距不在模型，而在显存怎么管、请求 [&#8230;]]]></description>
										<content:encoded><![CDATA[
<p class="wp-block-paragraph">同样一张显卡，同样一个模型，换个推理引擎，能同时服务的用户数可以差出好几倍。差距不在模型，而在显存怎么管、请求怎么排。开发者 Aleksa Gordić 近日发布了一篇 vLLM 源码级拆解长文，以 2025 年 8 月 9 日的 42172ad 提交为准，完整梳理了这套高吞吐推理引擎的内部结构。</p>



<figure data-wp-context="{&quot;imageId&quot;:&quot;6b015f5a6564f&quot;}" data-wp-interactive="core/image" data-wp-key="6b015f5a6564f" class="wp-block-image size-large aligncenter wp-lightbox-container"><img fetchpriority="high" decoding="async" width="1200" height="600" data-wp-class--hide="state.isContentHidden" data-wp-class--show="state.isContentVisible" data-wp-init="callbacks.setButtonStyles" data-wp-on--click="actions.showLightbox" data-wp-on--load="callbacks.setButtonStyles" data-wp-on--pointerdown="actions.preloadImage" data-wp-on--pointerenter="actions.preloadImageWithDelay" data-wp-on--pointerleave="actions.cancelPreload" data-wp-on-window--resize="callbacks.setButtonStyles" src="https://mylogs.cn/wp-content/uploads/2026/08/443dd0f2bebc45554645be58e62e6eb3_header.webp" alt="显存不够用？vLLM 把 KV 缓存拆成了 16 个词一页" class="wp-image-3913" style="max-width:100%;height:auto" srcset="https://mylogs.cn/wp-content/uploads/2026/08/443dd0f2bebc45554645be58e62e6eb3_header.webp 1200w, https://mylogs.cn/wp-content/uploads/2026/08/443dd0f2bebc45554645be58e62e6eb3_header-300x150.webp 300w, https://mylogs.cn/wp-content/uploads/2026/08/443dd0f2bebc45554645be58e62e6eb3_header-1024x512.webp 1024w, https://mylogs.cn/wp-content/uploads/2026/08/443dd0f2bebc45554645be58e62e6eb3_header-768x384.webp 768w" sizes="(max-width: 1200px) 100vw, 1200px" /><button
			class="lightbox-trigger"
			type="button"
			aria-haspopup="dialog"
			data-wp-bind--aria-label="state.thisImage.triggerButtonAriaLabel"
			data-wp-init="callbacks.initTriggerButton"
			data-wp-on--click="actions.showLightbox"
			data-wp-style--right="state.thisImage.buttonRight"
			data-wp-style--top="state.thisImage.buttonTop"
		>
			<svg xmlns="http://www.w3.org/2000/svg" width="12" height="12" fill="none" viewBox="0 0 12 12">
				<path fill="#fff" d="M2 0a2 2 0 0 0-2 2v2h1.5V2a.5.5 0 0 1 .5-.5h2V0H2Zm2 10.5H2a.5.5 0 0 1-.5-.5V8H0v2a2 2 0 0 0 2 2h2v-1.5ZM8 12v-1.5h2a.5.5 0 0 0 .5-.5V8H12v2a2 2 0 0 1-2 2H8Zm2-12a2 2 0 0 1 2 2v2h-1.5V2a.5.5 0 0 0-.5-.5H8V0h2Z" />
			</svg>
		</button><figcaption class="wp-element-caption">图片来源：GitHub / vLLM 项目页</figcaption></figure>





<p class="wp-block-paragraph">vLLM 由加州大学伯克利分校团队于 2023 年开源，采用 Apache 2.0 协议，目前已是开源<a href="https://mylogs.cn/chatgpt-pro-%e9%87%8d%e5%bc%80-200-%e7%be%8e%e5%85%83%e6%a1%a3%ef%bc%9aapi-%e4%bb%b7%e5%80%bc%e8%bf%91%e7%bf%bb%e5%80%8d/">大模型</a>私有化部署事实上的主流选择，被大量云平台和推理服务商集成。它的核心思路，是把操作系统管内存的老办法搬到了 GPU 上。</p>



<h2 class="wp-block-heading">把显存当成分页内存来管</h2>



<p class="wp-block-paragraph">传统推理框架给每个请求预留一整段连续显存，按最大可能长度分配。一个请求只生成了 100 个词，却按 4096 个词的规格占着位置，浪费极其可观。</p>



<p class="wp-block-paragraph">vLLM 的做法是分页。KV 缓存（模型生成时缓存的键值向量，避免重复计算）被切成固定大小的块，默认每块存 16 个 token。每个请求维护一张块表，把逻辑上连续的缓存映射到物理上零散的显存页。单块占用的字节数按「2（键和值）× 块大小 × KV 注意力头数 × 头维度 × 数据类型字节数」计算，块池规模常常达到数十万块。</p>



<p class="wp-block-paragraph">调度器的核心数据结构就是这个空闲块队列。每来一批新词，<code>allocate_slots</code> 先算需要几块——比如预填充阶段有 17 个新词，就是向上取整 17÷16 等于 2 块；池子不够时，引擎会抢占低优先级请求，把它们已占用的块归还池中。</p>



<h2 class="wp-block-heading">预填充和解码，是两种完全不同的活</h2>



<p class="wp-block-paragraph">引擎面对的负载分两类：预填充是对整段提示词做一次前向计算，属于计算密集型；解码只处理最新一个词，但仍要把整个模型权重和缓存读一遍，属于显存带宽密集型。</p>



<p class="wp-block-paragraph">老版本 V0 引擎一个步骤内只能二选一，新版 V1 调度器可以把两类请求混在同一步里跑。调度顺序上，已在运行队列中的解码请求优先，剩余的词预算再分给等待队列里的预填充请求。调度策略支持先来先服务和按优先级两种。</p>



<p class="wp-block-paragraph">前向计算时，所有序列被拍平拼接成一条「超级序列」，靠位置索引和注意力掩码保证各自只看自己的内容。这样就不需要右侧补齐，也就天然支持连续批处理——完成一个请求立刻释放资源补进新请求，GPU 不必等最慢的那条跑完。</p>



<h2 class="wp-block-heading">四个让长请求不拖后腿的设计</h2>



<p class="wp-block-paragraph"><strong>分块预填充</strong>：把超长提示词的预填充切成小段，避免一个长请求独占一个引擎步骤，把其他请求的延迟全部拉高。参数上表现为给 <code>long_prefill_token_threshold</code> 设一个正整数。</p>



<p class="wp-block-paragraph"><strong>前缀缓存</strong>：多轮对话中系统提示词和历史消息是重复的，相同前缀的缓存块可以在请求之间共享，不必重算。</p>



<p class="wp-block-paragraph"><strong>引导解码</strong>：用语法约束的有限状态机限制采样范围，让输出严格符合指定格式。</p>



<p class="wp-block-paragraph"><strong>投机解码与 PD 分离</strong>：前者用小模型先猜若干个词再由大模型批量验证，后者把预填充和解码拆到不同资源上执行。</p>



<h2 class="wp-block-heading">启动时那几秒都在干什么</h2>



<p class="wp-block-paragraph">引擎构造阶段，工作进程会依次完成三件事：分配 CUDA 设备并按 <code>gpu_memory_utilization</code>（例如设为 0.8 即占用八成显存）核对余量、加载模型权重并切换到推理模式、初始化 KV 缓存。</p>



<p class="wp-block-paragraph">最后一步会先跑一次空转前向计算，对显存拍个快照，据此反推能塞下多少个缓存块。除非显式指定 <code>--enforce-eager</code>，引擎还会针对若干预热批量大小捕获 CUDA Graph，把整串 GPU 操作录成一张有向无环图，后续直接回放，省下逐个启动内核的开销。</p>



<p class="wp-block-paragraph">这些机制叠加起来，才是「同一张卡多扛几倍请求」的真正来源。对于正在做私有化部署、纠结要不要加卡的团队，先把引擎参数调明白，往往比直接采购更划算。</p>



<p class="has-small-font-size wp-block-paragraph">来源：Aleksa Gordić 技术博客《Inside vLLM: Anatomy of a High-Throughput LLM Inference System》、vLLM 开源项目</p>

]]></content:encoded>
					
		
		
			</item>
	</channel>
</rss>
