本地部署大模型:数据不出本机,还免订阅费

当下驱动 ChatGPT、Gemini 等人工智能助手的大型语言模型正在改变人们写代码、写文章、做摘要和检索信息的方式。一个较少被提及的事实是:这些模型完全可以脱离云端,直接运行在个人电脑上。本地运行的核心好处是离线可用、隐私更强——因为数据不必上传到任何服务器供第三方分析,同时也省去了每月订阅费或按量计费。包括 Meta、谷歌在内的多家公司都提供了可免费下载的模型,尽管它们在能力和速度上通常不及付费应用内的模型,但应付日常使用已经足够,用户还能按需自由切换。

跑本地模型需要什么硬件

本地模型可以运行在 Windows、macOS 与 Linux 系统上,其中 macOS 更受人工智能爱好者青睐:机型统一、生态一致,且苹果自研芯片把中央处理器、图形处理器与内存整合在一起,契合模型的计算需求。

内存容量是关键瓶颈。最低 8 GB 内存可以起步,但能跑的模型规模和速度都会受限;16 GB 更从容;若想驾驭最大、最快的模型,则需要 32 GB 以上。独立显卡的显存同样重要,8 GB 以上就能明显改善体验,因为这类内存专为人工智能任务优化。在 Windows 平台上,一块英伟达独立显卡帮助很大——图形芯片比通用处理器更适合跑人工智能进程,这也是英伟达与这轮人工智能热潮深度绑定的原因。

选软件,再选模型

运行本地模型需要两层组件:一是承载交互的客户端软件,二是模型文件本身。对入门者而言,LM Studio Bionic 通常被认为在 Windows 与 macOS 上都是最佳选择,且免费使用;其他可信选项还包括 vLLM、Llama.cpp、Ollama 与 GPT4All,只是它们更偏技术向、上手步骤更多。

确定软件后,下一步是挑选模型。上述程序都会给出推荐,模型仓库方面最知名的是 Hugging Face,其收录的模型超过 300 万个,选择空间极大。

以 LM Studio Bionic 为例的实操

在 Windows 上搭建一套本地模型并不复杂。从官网下载安装包并启动后,点击”新建项目”并命名;在对话窗口点击”选择模型”→”获取本地模型”,即可进入模型挑选界面。每个模型都标注了体积、热度与简要说明,留意官方推荐能少走弯路。模型越小,下载越快、占用空间越小,但能力也相对弱一些。

回到对话界面,操作与常见的人工智能聊天应用类似:底部输入框可在已安装的多个模型间切换;输入框左侧的加号用于提交图片和文件(前提是当前模型支持);左侧导航栏可切换不同项目,通过”设置”能调整从聊天删除方式到界面元素的大量细节;”资料库”管理已有模型,”探索”用于发现新模型;若需要图片与文档支持,应寻找多模态模型。界面右上角的侧边栏则用于跨项目管理和授权程序访问本机文件系统。

便利与代价的权衡

本地部署意味着更多维护工作,也失去了一部分”打开应用就能用”的便捷——例如模型更新需要自己动手。但换来的,是一套完全私有、可定制的个人人工智能系统,门槛并不高。对于在意数据留在本地、又想避开订阅费的用户,本地大模型是一条值得尝试的路径。