36.7万参数塞进软盘:486老电脑也能跑AI问答

一张3.5英寸软盘,容量不到147.5万字节。开发者WollyMonjac把语言模型塞了进去,让运行DOS系统的486DX和Pentium老电脑也能跑AI问答。项目名为Tiny 2.1,采用与大型模型相同的Transformer架构,却并非大语言模型——它用Turbo C 2.0写成,本质上是一个微型问答程序。

一张软盘能装下什么

486电脑时代,普通PC格式化软盘的容量还不足147.5万字节。Tiny 2.1把体积压到了极限:参数量36.7万个,4层网络结构,隐藏维度96,逐字母读取和生成内容;权重采用8位量化,每行配一个缩放系数,整个模型约380KB。训练数据约3500条事实信息,每条都用多种问法反复训练。要跑起来,老电脑需要约540KB可用常规内存。

界面比想象中完整

软件提供对话历史窗口、神经网络监控面板和提问窗口,按DOS程序惯例还配了一排F键快捷键。最有复古未来感的功能,是通过PC内置扬声器用机器人语音朗读回答。

开发者对作品的定位相当谦逊。GitHub项目页写明,软件由Fable 5.2编写、由Opus 5.5训练。WollyMonjac也坦承,超出训练数据范围,模型”会非常自信地编造内容”。这一本正经胡说八道的能力,放在这个复古项目上反倒更像一项有趣的功能。

项目参数
参数量36.7万个
网络结构4层,隐藏维度96
权重精度8位量化,每行一个缩放系数
模型体积约380KB
训练数据约3500条事实信息
运行内存约540KB常规内存
编程语言Turbo C 2.0

想自己训练一个

软件包以MIT许可证发布,附带完整训练文件夹。有兴趣的用户可自行补充事实数据,训练针对特定领域的问答模型。训练工具gen2.py负责把事实转成多种问法的问答对,train2.py基于PyTorch训练,普通CPU即可运行,需要Python 3、NumPy和PyTorch。运行时把dos文件夹拷入DOS机器,进入TINY目录执行TINY即可,TINY.EXE与TINY.BIN须放在同一文件夹。

新旧硬件碰撞成趋势

让老软件跑在新硬件上并不稀奇,反过来则更有意思。此前已有开发者为DOS制作ChatGPT客户端,让1984年推出的IBM PC也能调用AI;有人让《我的世界》跑在Game Boy上,用生成式AI为Commodore 64生成8×8像素精灵图,甚至把《毁灭战士》移植到Atari ST。这些项目实用价值有限,却展示了开发者如何突破老硬件的性能与存储限制,让现代技术与经典计算设备产生有趣的碰撞。

常见问题

Tiny 2.1是大语言模型吗?不是。它只有36.7万个参数,定位是用Turbo C 2.0编写的微型问答Transformer,与大语言模型在规模上相差悬殊。

它能像聊天机器人一样对话吗?功能有限。模型基于约3500条事实训练,超出范围会自信地编造答案,更接近一项技术演示而非实用工具。

普通用户能自己训练吗?可以。软件包以MIT许可证发布并附带训练文件夹,使用Python 3、NumPy和PyTorch即可在普通CPU上训练。

信息来源:IT之家、GitHub项目页(WollyMonjac/Tiny-2.1)、网易科技、Hamidun News


说说

全部说说