本地部署的可行性首先取决于显存容量。显存占用由三部分构成:模型权重、推理过程中的激活值与 KV 缓存、以及框架与系统的运行开销。其中权重可通过参数量与量化精度直接估算,后两部分则需依据上下文长度和并发量预留余量。
一条基础公式可以覆盖权重的估算:模型参数量以 B(十亿)为单位,每参数占用字节数取决于加载精度。FP16 为 2 字节,INT8 为 1 字节,INT4 为 0.5 字节。
权重显存(GB)≈ 参数量(B)× 每参数字节数
以 7B 模型为例,FP16 加载约需 14GB,INT8 约 7GB,INT4 约 3.5GB。这条公式是选卡时的第一层判断依据。

不同规模与精度的权重占用
| 模型规模 | FP16(2 字节) | INT8(1 字节) | INT4(0.5 字节) |
|---|---|---|---|
| 7B | 约 14GB | 约 7GB | 约 3.5GB |
| 13B | 约 26GB | 约 13GB | 约 6.5GB |
| 34B | 约 68GB | 约 34GB | 约 17GB |
| 70B | 约 140GB | 约 70GB | 约 35GB |
由表可见,消费级显卡运行 70B 模型存在明显门槛:即便量化至 INT4 仍需约 35GB,单张 24GB 显卡无法容纳,需采用多卡分片或更低比特的量化方案。
运行时开销与余量
权重仅是显存占用的主要部分,并非全部。推理过程中还有以下开销:
- KV 缓存:自回归生成时保存历史 token 的键值,占用量随对话长度线性增长,长上下文场景可达数 GB。
- 激活值:前向计算产生的中间结果,占用量随批量大小增加。
- 框架开销:CUDA 上下文及推理框架自身占用。
经验做法是在权重占用基础上预留 20% 至 30% 的余量。7B 模型 FP16 权重为 14GB,实际建议配置 18GB 以上;若需支持 32K 长上下文,余量还应进一步增加。显存容量恰好等于权重占用的配置,出现显存溢出的概率很高——这是最常见的配置失误。
显存不足时的应对方案
量化。将 FP16 降至 INT8 或 INT4,精度损失在多数日常任务中不易察觉。7B 模型由 14GB 降至 3.5GB 后,8GB 显存的显卡即可运行,是投入产出比最高的方案。
权重卸载。将部分权重置于系统内存,按需调入显存。可运行更大规模的模型,但推理速度明显下降。
多卡分片。将模型切分至多张显卡,适用于 70B 及以上规模,代价是主板带宽、框架支持与硬件成本。
上下文管理。控制对话历史长度、及时开启新会话,可直接减少 KV 缓存占用,属于零成本的优化手段。
两点澄清
显存与内存并非同一概念。显存是 GPU 上的高速存储,模型计算必须在其中完成;内存容量大但速度较慢,部分框架支持将权重卸载至内存,代价是速度下降。
参数量与模型能力也不完全等价。同一代模型中,参数量大的通常表现更强;跨代比较则未必成立,训练质量的作用同样关键。参数量是门槛指标,而非能力的唯一决定因素。
信息来源为 CSDN 大模型显存估算指南、百度开发者中心本地部署配置指南与 OSCHINA 显存计算公式整理。实际占用随框架与上下文长度浮动,上述数值适用于估算。






