kerlenton · BootGPT · 阅读原文

原始来源:kerlenton · BootGPT

发现渠道:Hacker News

BootGPT 把字符预测程序塞进 512 字节的 PC 启动扇区,其中可用代码空间约 510 字节;约 11.5 KB 的八位量化权重另放在后续二十三个磁盘扇区。因此,不能把标题理解为“整个大语言模型只有 512 字节”。它使用八个字符的上下文和一个隐藏层,在约 3 MB 合成启动日志上训练,运行时生成看起来像开机信息的文本。

项目用二的幂作为量化尺度,让老式 386 实模式下的整数运算也能执行推理。作者称其整数 Python 参考实现与汇编实现逐字符一致;本期只核对了 README,没有启动镜像复测。它是理解模型、权重和运行环境如何分工的紧凑案例,不代表能在这种资源下运行通用助手。

作者在 HN 补充了一个具体调试经历:整数除法把余数写入了原先保存偏置表指针的寄存器,导致只有第一个神经元取到正确偏置。逐个比较参考实现和模拟器的隐藏层数值,才找到问题。这个例子说明,同一套量化数学还需要执行层的一致性检查。

可信度 65 · 重要性 48 · 新颖度 65

技术与主题

系统与效率 · 基础模型 · Int8 · 字符模型 · 启动扇区

核查依据

所属事件

收录记录