<?xml version="1.0" encoding="UTF-8"?><rss version="2.0"
	xmlns:content="http://purl.org/rss/1.0/modules/content/"
	xmlns:wfw="http://wellformedweb.org/CommentAPI/"
	xmlns:dc="http://purl.org/dc/elements/1.1/"
	xmlns:atom="http://www.w3.org/2005/Atom"
	xmlns:sy="http://purl.org/rss/1.0/modules/syndication/"
	xmlns:slash="http://purl.org/rss/1.0/modules/slash/"
	>

<channel>
	<title>NVFP4 &#8211; mylogs.cn</title>
	<atom:link href="https://mylogs.cn/tag/nvfp4/feed/" rel="self" type="application/rss+xml" />
	<link>https://mylogs.cn</link>
	<description>发现、记录、分享</description>
	<lastBuildDate>Sat, 21 Nov 2026 10:58:57 +0000</lastBuildDate>
	<language>zh-Hans</language>
	<sy:updatePeriod>
	hourly	</sy:updatePeriod>
	<sy:updateFrequency>
	1	</sy:updateFrequency>
	
	<item>
		<title>6.3 万元淘 12 张二手显卡：律师自建 AI 集群，跑 DeepSeek 比 4 台 DGX Spark 还快</title>
		<link>https://mylogs.cn/6-3-%e4%b8%87%e5%85%83%e6%b7%98-12-%e5%bc%a0%e4%ba%8c%e6%89%8b%e6%98%be%e5%8d%a1%ef%bc%9a%e5%be%8b%e5%b8%88%e8%87%aa%e5%bb%ba-ai-%e9%9b%86%e7%be%a4%ef%bc%8c%e8%b7%91-deepseek-%e6%af%94-4-%e5%8f%b0-dgx/</link>
		
		<dc:creator><![CDATA[steve, zhang]]></dc:creator>
		<pubDate>Sat, 21 Nov 2026 10:58:57 +0000</pubDate>
				<category><![CDATA[科技]]></category>
		<category><![CDATA[AI硬件]]></category>
		<category><![CDATA[DeepSeek]]></category>
		<category><![CDATA[NVFP4]]></category>
		<category><![CDATA[V100]]></category>
		<category><![CDATA[显卡横评]]></category>
		<category><![CDATA[本地部署]]></category>
		<category><![CDATA[自建AI集群]]></category>
		<guid isPermaLink="false">https://mylogs.cn/6-3-%e4%b8%87%e5%85%83%e6%b7%98-12-%e5%bc%a0%e4%ba%8c%e6%89%8b%e6%98%be%e5%8d%a1%ef%bc%9a%e5%be%8b%e5%b8%88%e8%87%aa%e5%bb%ba-ai-%e9%9b%86%e7%be%a4%ef%bc%8c%e8%b7%91-deepseek-%e6%af%94-4-%e5%8f%b0-dgx/</guid>

					<description><![CDATA[一位美国律师在技术社区晒出了自己的&#8221;私人 AI 服务器&#8221;：花费 9450 美元（按当时 [&#8230;]]]></description>
										<content:encoded><![CDATA[<p class="wp-block-paragraph">一位美国律师在技术社区晒出了自己的&#8221;私人 AI 服务器&#8221;：花费 9450 美元（按当时汇率约合 63239 元人民币）购入 12 张二手英伟达 Tesla V100 SXM2 32GB 显卡，通过 NVLink 与 PCIe 组成可协同推理的本地集群，用来运行 DeepSeek-V4.1-Flash 模型。在单代码流测试中，这套系统的生成速度达到每秒 157 至 184 个词元，快于已公开的 4 台 DGX Spark 组合，而硬件成本仅约为 3 台 DGX Spark 的一半。</p>
<figure data-wp-context="{&quot;imageId&quot;:&quot;6b017a31d9bea&quot;}" data-wp-interactive="core/image" data-wp-key="6b017a31d9bea" class="wp-block-image wp-lightbox-container"><img decoding="async" data-wp-class--hide="state.isContentHidden" data-wp-class--show="state.isContentVisible" data-wp-init="callbacks.setButtonStyles" data-wp-on--click="actions.showLightbox" data-wp-on--load="callbacks.setButtonStyles" data-wp-on--pointerdown="actions.preloadImage" data-wp-on--pointerenter="actions.preloadImageWithDelay" data-wp-on--pointerleave="actions.cancelPreload" data-wp-on-window--resize="callbacks.setButtonStyles" src="https://mylogs.cn/wp-content/uploads/2026/11/865041ff367217a7aedf51d605e7fdca_header.webp" alt="律师晒出的 V100 AI 集群硬件实拍" title="图片来源：IT之家" style="max-width:100%;height:auto;"/><button
			class="lightbox-trigger"
			type="button"
			aria-haspopup="dialog"
			data-wp-bind--aria-label="state.thisImage.triggerButtonAriaLabel"
			data-wp-init="callbacks.initTriggerButton"
			data-wp-on--click="actions.showLightbox"
			data-wp-style--right="state.thisImage.buttonRight"
			data-wp-style--top="state.thisImage.buttonTop"
		>
			<svg xmlns="http://www.w3.org/2000/svg" width="12" height="12" fill="none" viewBox="0 0 12 12">
				<path fill="#fff" d="M2 0a2 2 0 0 0-2 2v2h1.5V2a.5.5 0 0 1 .5-.5h2V0H2Zm2 10.5H2a.5.5 0 0 1-.5-.5V8H0v2a2 2 0 0 0 2 2h2v-1.5ZM8 12v-1.5h2a.5.5 0 0 0 .5-.5V8H12v2a2 2 0 0 1-2 2H8Zm2-12a2 2 0 0 1 2 2v2h-1.5V2a.5.5 0 0 0-.5-.5H8V0h2Z" />
			</svg>
		</button></figure>
<h2 class="wp-block-heading">把 15360 个专家&#8221;塞进&#8221;显卡</h2>
<p class="wp-block-paragraph">这套系统采用 3 个流水线阶段（PP3）、每阶段 4 卡张量并行（TP4）的结构，共 12 张 V100。运行的是 DeepSeek-V4.1-Flash 模型，并使用 4bit NVFP4 量化。发帖者称，每个专家被压缩至约 15360 个参数，使 12 张显卡能够分别承载模型中的专家分片。</p>
<figure data-wp-context="{&quot;imageId&quot;:&quot;6b017a31d9e50&quot;}" data-wp-interactive="core/image" data-wp-key="6b017a31d9e50" class="wp-block-image wp-lightbox-container"><img decoding="async" data-wp-class--hide="state.isContentHidden" data-wp-class--show="state.isContentVisible" data-wp-init="callbacks.setButtonStyles" data-wp-on--click="actions.showLightbox" data-wp-on--load="callbacks.setButtonStyles" data-wp-on--pointerdown="actions.preloadImage" data-wp-on--pointerenter="actions.preloadImageWithDelay" data-wp-on--pointerleave="actions.cancelPreload" data-wp-on-window--resize="callbacks.setButtonStyles" src="https://mylogs.cn/wp-content/uploads/2026/11/inline_865041ff367217a7aedf51d605e7fdca_0.webp" alt="律师发布在社区的测试帖截图" title="图片来源：IT之家" style="max-width:100%;height:auto;"/><button
			class="lightbox-trigger"
			type="button"
			aria-haspopup="dialog"
			data-wp-bind--aria-label="state.thisImage.triggerButtonAriaLabel"
			data-wp-init="callbacks.initTriggerButton"
			data-wp-on--click="actions.showLightbox"
			data-wp-style--right="state.thisImage.buttonRight"
			data-wp-style--top="state.thisImage.buttonTop"
		>
			<svg xmlns="http://www.w3.org/2000/svg" width="12" height="12" fill="none" viewBox="0 0 12 12">
				<path fill="#fff" d="M2 0a2 2 0 0 0-2 2v2h1.5V2a.5.5 0 0 1 .5-.5h2V0H2Zm2 10.5H2a.5.5 0 0 1-.5-.5V8H0v2a2 2 0 0 0 2 2h2v-1.5ZM8 12v-1.5h2a.5.5 0 0 0 .5-.5V8H12v2a2 2 0 0 1-2 2H8Zm2-12a2 2 0 0 1 2 2v2h-1.5V2a.5.5 0 0 0-.5-.5H8V0h2Z" />
			</svg>
		</button></figure>
<p class="wp-block-paragraph">整套硬件的采购成本约为 9450 美元。作为参照，一套 3 台 DGX Spark 的组合价格约为其两倍。不过代价同样明显：满载功耗最高可达约 2100W，噪音较大，并不适合普通办公环境。发帖者自己也坦言，这并非一台批量解码引擎。</p>
<h2 class="wp-block-heading">实测数据：长文本与代码是强项</h2>
<p class="wp-block-paragraph">这位律师公布了一组不同上下文长度下的测试数据，涵盖首个词元延迟、预填充速度，以及代码、法律、普通文本三类任务的生成速度。</p>
<figure class="wp-block-table"><table class="has-fixed-layout"><tbody><tr><th>上下文长度</th><th>首个词元（冷启动）</th><th>预填充速度（词元/秒）</th><th>代码</th><th>法律</th><th>普通文本</th></tr><tr><td>1K</td><td>0.7 秒</td><td>1567</td><td>184</td><td>102</td><td>86</td></tr><tr><td>8K</td><td>2.5 秒</td><td>3267</td><td>176</td><td>93</td><td>90</td></tr><tr><td>32K</td><td>7.3 秒</td><td>4478</td><td>176</td><td>92</td><td>95</td></tr><tr><td>64K</td><td>13.9 秒</td><td>4697</td><td>157</td><td>93</td><td>83</td></tr><tr><td>128K</td><td>28.1 秒</td><td>4670</td><td>157</td><td>93</td><td>86</td></tr><tr><td>256K</td><td>58.0 秒</td><td>4518</td><td>153</td><td>92</td><td>85</td></tr></tbody></table></figure>
<p class="wp-block-paragraph">从数据看，上下文达到 128K 时，读取一份长文档仅需约 28 秒；即便扩展到 256K，首个词元的冷启动等待也不到 1 分钟。三个代码请求合计的生成速度在不同上下文下保持在 364 至 600 词元/秒区间；在文档已缓存的情况下，首个词元延迟可低至 0.2 至 0.6 秒。</p>
<p class="wp-block-paragraph">在与同类方案的横向对比中，这套 12 卡 V100 系统表现如下：</p>
<figure class="wp-block-table"><table class="has-fixed-layout"><tbody><tr><th>对比项</th><th>3× DGX Spark</th><th>4× DGX Spark</th><th>12× V100（本次配置）</th></tr><tr><td>单请求，代码</td><td>125（SGLang）/ 138（TensorFold）/ 136（vLLM）</td><td>未发布</td><td>153–184</td></tr><tr><td>单请求，普通文本</td><td>38–51</td><td>79–88</td><td>83–95</td></tr><tr><td>预填充，长提示词</td><td>约 2000</td><td>3100–8500（因方案而异）</td><td>4500–4700</td></tr><tr><td>多请求</td><td>4 个流合计 85</td><td>最高 570（16 个流）</td><td>344–443（3 个流）</td></tr><tr><td>上下文</td><td>配置 256K</td><td>1M</td><td>配置 524K</td></tr></tbody></table></figure>
<p class="wp-block-paragraph">发帖者称，在单请求、单流场景下，这套服务器优于已公开的 4 台 DGX Spark 组合：代码生成速度快约 15% 至 45%，普通文本生成速度也更高。不过在多流并发场景中，4 台 DGX Spark 在部分配置下仍能达到更高的合计吞吐。</p>
<h2 class="wp-block-heading">二手卡的性价比逻辑，值得借鉴吗</h2>
<p class="wp-block-paragraph">这起案例的价值，不在于人人都要去组装一台 2100W 的&#8221;电老虎&#8221;，而在于它展示了消费级和二手商用硬件运行大模型的可行性边界。对于需要本地部署、又受限于预算的用户，几条经验值得参考：</p>
<p class="wp-block-paragraph">其一，量化是降低硬件门槛的关键。4bit NVFP4 让原本需要海量显存的模型得以在有限显卡上分片承载；其二，MoE 架构的专家分片机制，使得多卡协同成为可能；其三，长上下文场景对预填充性能的要求，往往比单纯看生成速度更重要——这正是这套系统的强项。</p>
<p class="wp-block-paragraph">但也要看到局限。二手 V100 缺乏官方质保，功耗与噪音使其在家庭或办公室环境中难以部署；相关性能数据均来自发帖者自测，尚未经过标准化基准的独立验证，不同模型与量化方案下的表现也会有差异。对大多数用户而言，直接选用更新架构的显卡或云端服务，可能仍是更省心的方案。</p>
<p class="wp-block-paragraph"><strong>信息来源</strong>：IT之家、Reddit 社区 r/LocalLLM、Tom&#8217;s Hardware。文中性能数据为发帖者自测结果，未经独立第三方验证。</p>]]></content:encoded>
					
		
		
			</item>
	</channel>
</rss>
