<?xml version="1.0" encoding="UTF-8"?><rss version="2.0"
	xmlns:content="http://purl.org/rss/1.0/modules/content/"
	xmlns:wfw="http://wellformedweb.org/CommentAPI/"
	xmlns:dc="http://purl.org/dc/elements/1.1/"
	xmlns:atom="http://www.w3.org/2005/Atom"
	xmlns:sy="http://purl.org/rss/1.0/modules/syndication/"
	xmlns:slash="http://purl.org/rss/1.0/modules/slash/"
	>

<channel>
	<title>KV缓存 &#8211; mylogs.cn</title>
	<atom:link href="https://mylogs.cn/tag/kv%e7%bc%93%e5%ad%98/feed/" rel="self" type="application/rss+xml" />
	<link>https://mylogs.cn</link>
	<description>发现、记录、分享</description>
	<lastBuildDate>Tue, 29 Sep 2026 16:18:55 +0000</lastBuildDate>
	<language>zh-Hans</language>
	<sy:updatePeriod>
	hourly	</sy:updatePeriod>
	<sy:updateFrequency>
	1	</sy:updateFrequency>
	
	<item>
		<title>DeepSeek V4.1-Flash 非对称架构：小模型反超旗舰</title>
		<link>https://mylogs.cn/deepseek-v4-1-flash-%e9%9d%9e%e5%af%b9%e7%a7%b0%e6%9e%b6%e6%9e%84%ef%bc%9a%e5%b0%8f%e6%a8%a1%e5%9e%8b%e5%8f%8d%e8%b6%85%e6%97%97%e8%88%b0/</link>
		
		<dc:creator><![CDATA[steve, zhang]]></dc:creator>
		<pubDate>Mon, 14 Sep 2026 12:56:24 +0000</pubDate>
				<category><![CDATA[科技]]></category>
		<category><![CDATA[DeepSeek]]></category>
		<category><![CDATA[KV缓存]]></category>
		<category><![CDATA[MoE]]></category>
		<category><![CDATA[V4.1 Flash]]></category>
		<category><![CDATA[混合专家]]></category>
		<guid isPermaLink="false">https://mylogs.cn/deepseek-v4-1-flash-%e9%9d%9e%e5%af%b9%e7%a7%b0%e6%9e%b6%e6%9e%84%ef%bc%9a%e5%b0%8f%e6%a8%a1%e5%9e%8b%e5%8f%8d%e8%b6%85%e6%97%97%e8%88%b0/</guid>

					<description><![CDATA[2026 年 9 月 10 日，深度求索（DeepSeek）低调发布 V4.1 Flash 模型。最引人注目的 [&#8230;]]]></description>
										<content:encoded><![CDATA[<figure data-wp-context="{&quot;imageId&quot;:&quot;6b015c9dc309b&quot;}" data-wp-interactive="core/image" data-wp-key="6b015c9dc309b" class="wp-block-image wp-lightbox-container"><img fetchpriority="high" decoding="async" width="1536" height="1024" data-wp-class--hide="state.isContentHidden" data-wp-class--show="state.isContentVisible" data-wp-init="callbacks.setButtonStyles" data-wp-on--click="actions.showLightbox" data-wp-on--load="callbacks.setButtonStyles" data-wp-on--pointerdown="actions.preloadImage" data-wp-on--pointerenter="actions.preloadImageWithDelay" data-wp-on--pointerleave="actions.cancelPreload" data-wp-on-window--resize="callbacks.setButtonStyles" src="https://mylogs.cn/wp-content/uploads/2026/09/d1c4e0a9f2b3c4d5e6f708192a3b4c5d_header.webp" alt="DeepSeek V4.1-Flash 非对称架构示意" class="wp-image-6994" srcset="https://mylogs.cn/wp-content/uploads/2026/09/d1c4e0a9f2b3c4d5e6f708192a3b4c5d_header.webp 1536w, https://mylogs.cn/wp-content/uploads/2026/09/d1c4e0a9f2b3c4d5e6f708192a3b4c5d_header-300x200.webp 300w, https://mylogs.cn/wp-content/uploads/2026/09/d1c4e0a9f2b3c4d5e6f708192a3b4c5d_header-1024x683.webp 1024w, https://mylogs.cn/wp-content/uploads/2026/09/d1c4e0a9f2b3c4d5e6f708192a3b4c5d_header-768x512.webp 768w" sizes="(max-width: 1536px) 100vw, 1536px" /><button
			class="lightbox-trigger"
			type="button"
			aria-haspopup="dialog"
			data-wp-bind--aria-label="state.thisImage.triggerButtonAriaLabel"
			data-wp-init="callbacks.initTriggerButton"
			data-wp-on--click="actions.showLightbox"
			data-wp-style--right="state.thisImage.buttonRight"
			data-wp-style--top="state.thisImage.buttonTop"
		>
			<svg xmlns="http://www.w3.org/2000/svg" width="12" height="12" fill="none" viewBox="0 0 12 12">
				<path fill="#fff" d="M2 0a2 2 0 0 0-2 2v2h1.5V2a.5.5 0 0 1 .5-.5h2V0H2Zm2 10.5H2a.5.5 0 0 1-.5-.5V8H0v2a2 2 0 0 0 2 2h2v-1.5ZM8 12v-1.5h2a.5.5 0 0 0 .5-.5V8H12v2a2 2 0 0 1-2 2H8Zm2-12a2 2 0 0 1 2 2v2h-1.5V2a.5.5 0 0 0-.5-.5H8V0h2Z" />
			</svg>
		</button><figcaption>图片来源：图片来源：AI 生成科技示意配图</figcaption></figure>
<p class="wp-block-paragraph">2026 年 9 月 10 日，深度求索（DeepSeek）低调发布 V4.1 Flash 模型。最引人注目的不是参数规模，而是它用一套全新的非对称架构，在性能、费用、速度三项指标上同时超过了自家上一代旗舰 V4 Pro，并将于 9 月 14 日起承接原本发往 V4 Pro 的全部流量。一个体量更小的新模型反超旗舰，在基础模型行业极为罕见。</p>
<h2 class="wp-block-heading">非对称架构：读和写不再平等</h2>
<p class="wp-block-paragraph">DeepSeek V4.1 Flash 是一个 5520 亿参数的混合专家（MoE）模型，采用全新的因果编码器—解码器（Causal Encoder-Decoder，简称 CED）结构。它的核心思路是：读取输入和生成输出不应该消耗同样的<a href="https://mylogs.cn/ai-%e6%99%ba%e8%83%bd%e4%bd%93%e5%bc%95%e7%88%86%e9%9c%80%e6%b1%82%ef%bc%9a%e6%9c%8d%e5%8a%a1%e5%99%a8-cpu-%e4%ba%a4%e4%bb%98%e8%a6%81%e7%ad%89-30-%e5%91%a8/">算力</a>。</p>
<p class="wp-block-paragraph">模型将 40 层 Transformer 拆成两半——前 20 层是因果编码器，后 20 层是解码器。预填充（prefill，即读取输入）阶段只激活 80 亿参数，解码（decode，即生成输出）阶段激活 160 亿参数。知名研究者 Sebastian Raschka 评价，这套改动幅度大到&#8221;本该叫 DeepSeek V5&#8243;，只涨 0.1 个版本号是低估了它。</p>
<p class="wp-block-paragraph">这种不对称恰好契合智能体（Agent）的真实工作负载：一个编程智能体可能要读进几万 token 的代码库，最后只产出几行修改；一个研究智能体可能吞下数百万 token 资料，只输出一份摘要。把算力优先分配给&#8221;写&#8221;而非&#8221;读&#8221;，单位成本下的有效智能显著提升。</p>
<h2 class="wp-block-heading">缓存压缩：三年缩小 437 倍</h2>
<p class="wp-block-paragraph">另一项突破是 KV 缓存的极致压缩。V4.1 Flash 每 token 全局 KV 缓存仅需 890 字节，相对初代模型缩小了 437 倍；对高带宽显存（HBM）的需求降至 V4 Flash 的四分之一，对固态存储（SSD）的需求降至八分之一。</p>
<p class="wp-block-paragraph">在智能体场景中，缓存命中的费用往往占大头，压缩缓存直接压低了长程任务的运行成本。模型还支持 100 万 token 上下文、原生多模态（文本与图像输入），并通过 MIT 协议在 Hugging Face 开放权重。</p>
<h2 class="wp-block-heading">基准实测：以三分之一参数超越旗舰</h2>
<p class="wp-block-paragraph">第三方与官方基准显示，V4.1 Flash 在多项智能体任务上超过参数量更大的 V4 Pro：</p>
<figure class="wp-block-table"><table class="has-fixed-layout"><thead><tr><th>基准测试</th><th>V4.1 Flash</th><th>V4-Flash</th><th>V4-Pro</th></tr></thead><tbody><tr><td>&#8212;</td><td>&#8212;</td><td>&#8212;</td><td>&#8212;</td></tr><tr><td>Terminal-Bench 2.1（命令行编程）</td><td>90.6</td><td>82.7</td><td>87.9</td></tr><tr><td>DeepSWE v1.1（自主修 bug 出 PR）</td><td>74.2</td><td>54.4</td><td>62.7</td></tr><tr><td>Automation-Bench（跨 SaaS 工作流）</td><td>54.8</td><td>37.7</td><td>43.2</td></tr></tbody></table></figure>
<p class="wp-block-paragraph">中文评测方面，V4.1 Flash 在 SuperCLUE 首次进榜即拿到 71.81 分，位列国产第二；第三方机构 Artificial Analysis 的综合智能指数给出 39.5 分，超过自家 V4 Pro 的 36 分。不过 Automation-Bench 仍只有 54.8 分，意味着复杂工作流约一半会失败，生产环境仍需人工把关。</p>
<h2 class="wp-block-heading">价格与路由：把省下的钱让给用户</h2>
<p class="wp-block-paragraph">V4.1 Flash 延续 DeepSeek 的峰谷定价，闲时价格为峰时的 50%。以每百万 token 计：缓存输入闲时 0.003 美元、峰时 0.006 美元；未缓存输入闲时 0.15 美元、峰时 0.30 美元；输出闲时 0.60 美元、峰时 1.20 美元。并发上限从 V4 Pro 的 500 提升到 2500。</p>
<p class="wp-block-paragraph">自 2026 年 9 月 14 日北京时间 12:00 起，至 V4.1 Pro 上线前，访问 deepseek-v4-pro 的请求将全部路由到 V4.1 Flash，并按 Flash 单价计费。旧的 V4 Flash 与 V4-Flash-Vision-Exp 已下线，相关模型名暂时指向新模型以兼容既有调用。WorkBuddy（含 CodeBuddy）、OpenCode 等平台已全面接入 V4.1 Flash。</p>
<h2 class="wp-block-heading">行业意义：非对称计算成为新前沿</h2>
<p class="wp-block-paragraph">一个低一档的模型在每一项生产指标上超过旗舰并取而代之，验证了深度求索押注的方向——非对称计算，而非单纯堆大对称模型，正在成为基础模型的新前沿。对开发者和企业而言，这意味着在编程、智能体等长程任务上，可以用更低的单价获得更强的有效智能。</p>
<p class="wp-block-paragraph">本文基于 DeepSeek 官方发布信息、Baseten 技术分析及<a href="https://mylogs.cn/%e8%85%be%e8%ae%af%e5%86%85%e6%b5%8b-ai-%e6%b8%b8%e6%88%8f%e6%90%ad%e5%ad%90%e9%b9%85%e6%ac%a1%e5%85%83%ef%bc%9a%e6%95%b0%e5%ad%97%e4%ba%ba%e9%99%aa%e4%bd%a0%e5%bc%80%e9%bb%91/">腾讯</a>云开发者社区资料整理。</p>]]></content:encoded>
					
		
		
			</item>
		<item>
		<title>显存不够用？vLLM 把 KV 缓存拆成了 16 个词一页</title>
		<link>https://mylogs.cn/vllm-paged-attention-kv-cache-continuous-batching-deep-dive/</link>
		
		<dc:creator><![CDATA[steve, zhang]]></dc:creator>
		<pubDate>Fri, 07 Aug 2026 03:11:23 +0000</pubDate>
				<category><![CDATA[科技]]></category>
		<category><![CDATA[AI基础设施]]></category>
		<category><![CDATA[KV缓存]]></category>
		<category><![CDATA[vLLM]]></category>
		<category><![CDATA[大模型推理]]></category>
		<category><![CDATA[开源项目]]></category>
		<guid isPermaLink="false">https://mylogs.cn/vllm-paged-attention-kv-cache-continuous-batching-deep-dive/</guid>

					<description><![CDATA[同样一张显卡，同样一个模型，换个推理引擎，能同时服务的用户数可以差出好几倍。差距不在模型，而在显存怎么管、请求 [&#8230;]]]></description>
										<content:encoded><![CDATA[
<p class="wp-block-paragraph">同样一张显卡，同样一个模型，换个推理引擎，能同时服务的用户数可以差出好几倍。差距不在模型，而在显存怎么管、请求怎么排。开发者 Aleksa Gordić 近日发布了一篇 vLLM 源码级拆解长文，以 2025 年 8 月 9 日的 42172ad 提交为准，完整梳理了这套高吞吐推理引擎的内部结构。</p>



<figure data-wp-context="{&quot;imageId&quot;:&quot;6b015c9dc44ff&quot;}" data-wp-interactive="core/image" data-wp-key="6b015c9dc44ff" class="wp-block-image size-large aligncenter wp-lightbox-container"><img decoding="async" width="1200" height="600" data-wp-class--hide="state.isContentHidden" data-wp-class--show="state.isContentVisible" data-wp-init="callbacks.setButtonStyles" data-wp-on--click="actions.showLightbox" data-wp-on--load="callbacks.setButtonStyles" data-wp-on--pointerdown="actions.preloadImage" data-wp-on--pointerenter="actions.preloadImageWithDelay" data-wp-on--pointerleave="actions.cancelPreload" data-wp-on-window--resize="callbacks.setButtonStyles" src="https://mylogs.cn/wp-content/uploads/2026/08/443dd0f2bebc45554645be58e62e6eb3_header.webp" alt="显存不够用？vLLM 把 KV 缓存拆成了 16 个词一页" class="wp-image-3913" style="max-width:100%;height:auto" srcset="https://mylogs.cn/wp-content/uploads/2026/08/443dd0f2bebc45554645be58e62e6eb3_header.webp 1200w, https://mylogs.cn/wp-content/uploads/2026/08/443dd0f2bebc45554645be58e62e6eb3_header-300x150.webp 300w, https://mylogs.cn/wp-content/uploads/2026/08/443dd0f2bebc45554645be58e62e6eb3_header-1024x512.webp 1024w, https://mylogs.cn/wp-content/uploads/2026/08/443dd0f2bebc45554645be58e62e6eb3_header-768x384.webp 768w" sizes="(max-width: 1200px) 100vw, 1200px" /><button
			class="lightbox-trigger"
			type="button"
			aria-haspopup="dialog"
			data-wp-bind--aria-label="state.thisImage.triggerButtonAriaLabel"
			data-wp-init="callbacks.initTriggerButton"
			data-wp-on--click="actions.showLightbox"
			data-wp-style--right="state.thisImage.buttonRight"
			data-wp-style--top="state.thisImage.buttonTop"
		>
			<svg xmlns="http://www.w3.org/2000/svg" width="12" height="12" fill="none" viewBox="0 0 12 12">
				<path fill="#fff" d="M2 0a2 2 0 0 0-2 2v2h1.5V2a.5.5 0 0 1 .5-.5h2V0H2Zm2 10.5H2a.5.5 0 0 1-.5-.5V8H0v2a2 2 0 0 0 2 2h2v-1.5ZM8 12v-1.5h2a.5.5 0 0 0 .5-.5V8H12v2a2 2 0 0 1-2 2H8Zm2-12a2 2 0 0 1 2 2v2h-1.5V2a.5.5 0 0 0-.5-.5H8V0h2Z" />
			</svg>
		</button><figcaption class="wp-element-caption">图片来源：GitHub / vLLM 项目页</figcaption></figure>





<p class="wp-block-paragraph">vLLM 由加州大学伯克利分校团队于 2023 年开源，采用 Apache 2.0 协议，目前已是开源<a href="https://mylogs.cn/chatgpt-pro-%e9%87%8d%e5%bc%80-200-%e7%be%8e%e5%85%83%e6%a1%a3%ef%bc%9aapi-%e4%bb%b7%e5%80%bc%e8%bf%91%e7%bf%bb%e5%80%8d/">大模型</a>私有化部署事实上的主流选择，被大量云平台和推理服务商集成。它的核心思路，是把操作系统管内存的老办法搬到了 GPU 上。</p>



<h2 class="wp-block-heading">把显存当成分页内存来管</h2>



<p class="wp-block-paragraph">传统推理框架给每个请求预留一整段连续显存，按最大可能长度分配。一个请求只生成了 100 个词，却按 4096 个词的规格占着位置，浪费极其可观。</p>



<p class="wp-block-paragraph">vLLM 的做法是分页。KV 缓存（模型生成时缓存的键值向量，避免重复计算）被切成固定大小的块，默认每块存 16 个 token。每个请求维护一张块表，把逻辑上连续的缓存映射到物理上零散的显存页。单块占用的字节数按「2（键和值）× 块大小 × KV 注意力头数 × 头维度 × 数据类型字节数」计算，块池规模常常达到数十万块。</p>



<p class="wp-block-paragraph">调度器的核心数据结构就是这个空闲块队列。每来一批新词，<code>allocate_slots</code> 先算需要几块——比如预填充阶段有 17 个新词，就是向上取整 17÷16 等于 2 块；池子不够时，引擎会抢占低优先级请求，把它们已占用的块归还池中。</p>



<h2 class="wp-block-heading">预填充和解码，是两种完全不同的活</h2>



<p class="wp-block-paragraph">引擎面对的负载分两类：预填充是对整段提示词做一次前向计算，属于计算密集型；解码只处理最新一个词，但仍要把整个模型权重和缓存读一遍，属于显存带宽密集型。</p>



<p class="wp-block-paragraph">老版本 V0 引擎一个步骤内只能二选一，新版 V1 调度器可以把两类请求混在同一步里跑。调度顺序上，已在运行队列中的解码请求优先，剩余的词预算再分给等待队列里的预填充请求。调度策略支持先来先服务和按优先级两种。</p>



<p class="wp-block-paragraph">前向计算时，所有序列被拍平拼接成一条「超级序列」，靠位置索引和注意力掩码保证各自只看自己的内容。这样就不需要右侧补齐，也就天然支持连续批处理——完成一个请求立刻释放资源补进新请求，GPU 不必等最慢的那条跑完。</p>



<h2 class="wp-block-heading">四个让长请求不拖后腿的设计</h2>



<p class="wp-block-paragraph"><strong>分块预填充</strong>：把超长提示词的预填充切成小段，避免一个长请求独占一个引擎步骤，把其他请求的延迟全部拉高。参数上表现为给 <code>long_prefill_token_threshold</code> 设一个正整数。</p>



<p class="wp-block-paragraph"><strong>前缀缓存</strong>：多轮对话中系统提示词和历史消息是重复的，相同前缀的缓存块可以在请求之间共享，不必重算。</p>



<p class="wp-block-paragraph"><strong>引导解码</strong>：用语法约束的有限状态机限制采样范围，让输出严格符合指定格式。</p>



<p class="wp-block-paragraph"><strong>投机解码与 PD 分离</strong>：前者用小模型先猜若干个词再由大模型批量验证，后者把预填充和解码拆到不同资源上执行。</p>



<h2 class="wp-block-heading">启动时那几秒都在干什么</h2>



<p class="wp-block-paragraph">引擎构造阶段，工作进程会依次完成三件事：分配 CUDA 设备并按 <code>gpu_memory_utilization</code>（例如设为 0.8 即占用八成显存）核对余量、加载模型权重并切换到推理模式、初始化 KV 缓存。</p>



<p class="wp-block-paragraph">最后一步会先跑一次空转前向计算，对显存拍个快照，据此反推能塞下多少个缓存块。除非显式指定 <code>--enforce-eager</code>，引擎还会针对若干预热批量大小捕获 CUDA Graph，把整串 GPU 操作录成一张有向无环图，后续直接回放，省下逐个启动内核的开销。</p>



<p class="wp-block-paragraph">这些机制叠加起来，才是「同一张卡多扛几倍请求」的真正来源。对于正在做私有化部署、纠结要不要加卡的团队，先把引擎参数调明白，往往比直接采购更划算。</p>



<p class="has-small-font-size wp-block-paragraph">来源：Aleksa Gordić 技术博客《Inside vLLM: Anatomy of a High-Throughput LLM Inference System》、vLLM 开源项目</p>

]]></content:encoded>
					
		
		
			</item>
	</channel>
</rss>
