Simon Edwardsson 的 WorldTUI 看起来像终端,却不在背后运行 shell 或文件系统。它根据按键和此前画面预测下一次屏幕变化,相当于用模型模拟终端世界。作者从 Qwen2.5-Coder-0.5B 微调,使用约 33.6 万段真实 Docker 会话、约 20 亿 token;删掉大量不需要的词表后得到约 3.6 亿参数,量化到 4 bit 后约 208 MB,可在支持 WebGPU 的浏览器运行。
任务表示很重要。普通聊天模型一次输出整段文本,这里则编码“哪些行被更新、哪些行照抄、光标移到哪里”,把词表压到字节和行操作等 333 个符号。作者还让模型在自身预测有误的状态上继续学习怎样修复,减少自由运行时不断偏离训练输入的问题。多行同时起草、再按顺序核验的推理方式,则在保留行间一致性的同时改善较大画面的响应。
最有启发的结果来自一次较早检查点的删层实验:去掉第七层后,下一 token 准确率只由 99.3% 降到 98.9%,短间隔文件读回却由 64 次全对降到全错。测试给的是正确历史,不能把失败都归为前面生成错了。作者后来训练的较浅学生恢复了读回,却在另一套 shell 测试上退步,最终没有采用。当前模型仍会搞错追加文件、嵌套路径或 Python 运算;文章也说权重稍后发布,不能称为已经公开可下载。