持续追踪

BootGPT:启动扇区里的小语言模型

按时间保留当时的判断和后续核查;历史收录不代表刚刚重新验证。

2026-11-01 · 当时的记录

BootGPT 把字符预测程序塞进 512 字节的 PC 启动扇区,其中可用代码空间约 510 字节;约 11.5 KB 的八位量化权重另放在后续二十三个磁盘扇区。因此,不能把标题理解为“整个大语言模型只有 512 字节”。它使用八个字符的上下文和一个隐藏层,在约 3 MB 合成启动日志上训练,运行时生成看起来像开机信息的文本。

项目用二的幂作为量化尺度,让老式 386 实模式下的整数运算也能执行推理。作者称其整数 Python 参考实现与汇编实现逐字符一致;本期只核对了 README,没有启动镜像复测。它是理解模型、权重和运行环境如何分工的紧凑案例,不代表能在这种资源下运行通用助手。

作者在 HN 补充了一个具体调试经历:整数除法把余数写入了原先保存偏置表指针的寄存器,导致只有第一个神经元取到正确偏置。逐个比较参考实现和模拟器的隐藏层数值,才找到问题。这个例子说明,同一套量化数学还需要执行层的一致性检查。

回到当期正文 ↗

查看依据原文 · 原始依据 · 原始依据