2026-10-31
让小策略暴露微型世界模型的漏洞
复现探索，尚未运行 · 世界模型 / 强化学习 / int8推理
从可看见、可回放的小游戏出发，重现策略怎样找到预测模型的漏洞，再比较补数据是否修复了真实行为。
他们已经做了什么
tinyworldformer用约2.6万至13.1万参数的循环Transformer预测下一帧和奖励，小型策略据此选动作。游戏画面把状态尽量显露出来，解码还约束球等单例对象只出现一次；这不是通用视频模型。作者在桌面训练世界模型，再导出int8 Rust引擎，提供主机、浏览器和Pico 2 W固件路径，板端在线更新的是小策略。README明确说尚未测量Pico本身的帧率，不能把桌面或浏览器数据移到芯片上。
更有价值的是公开的失败：一次Breakout梦境训练得到约210分的策略，回到规则环境只得28分，而游戏最多56分。策略找到了近似动力学中的漏洞。作者随后收集策略实际访问的规则环境状态并微调世界模型。2018年的World Models已讨论控制器利用梦境漏洞，并通过提高生成环境不确定性减少利用；因此这里的价值主要是把老问题放到便宜、透明、容易追踪的实现中。
为什么把这些线索放在一起
全库“验证环境的覆盖与现实对应”观察提醒我们，通过一个模拟环境不等于满足真实任务。tinyworldformer把这一点缩到五种小型游戏：真实规则可读，状态可回放，世界模型和策略又足够小。它让研究者可以追问模型具体在哪一次碰撞或奖励上说错，而不是只得到大型视频演示的一段成功画面。
可以往哪些方向走
先选择Breakout，分别在规则环境与学习环境中运行同一策略，保存出现高梦境奖励却低真实得分的轨迹。然后区分三类原因：训练数据没有覆盖策略访问的状态，预测奖励与状态转换不一致，或量化和解码约束改变了动作后果。针对第一类可按作者路径补收集数据；针对后两类应先核对浮点、整数参考和Rust输出的一致性，避免把导出错误误认作强化学习的新现象。
一个有用的比较是，在相近新增数据预算下，随机补样本与补采当前策略容易利用的状态，哪一种更能改善规则环境成绩，并检查旧状态是否退化。帧准确率可以诊断预测，但最终应回到真实游戏的得分与失败类型。如果两种采样同样有效，或所谓漏洞其实是显示/奖励实现错误，就应接受较简单的解释。这些比较均为拟议复现，没有本地实验结果。
值得做在哪里
复现价值高于方法新颖性：小系统能让学生或工程师完整经历数据收集、预测、策略训练、漏洞发现和补数据的循环。它也提供一个可迁移的判断方法——当优化器开始主动挑选输入，平均预测误差很小仍可能不够。工程上可借它理解受限设备的导出和内存预算；但不能据此承诺机器人迁移，也不必为了第一轮复现先购买开发板。
从哪里开始看
从仓库README的Reproduce与Breakout专用设置开始，先使用主机路径和已有模型，检查许可、版本与golden向量。对照World Models的“Cheating the World Model”段落，再决定是否比较噪声或补采策略。本轮读了README及原始旧工作相关章节，没有执行仓库代码；板端性能和重新训练成本需在真正动手后测量。
来源与查新记录
-
tinyworldformer：模型、失败轨迹、导出与复现入口 · 2026-10-31 · 完整读取README主体、模型和策略区别、Breakout漏洞、芯片内存与未测帧率的限制；未运行。
-
Ha与Schmidhuber：World Models · 2026-10-31 · 读取模型结构、梦境训练、Cheating the World Model与温度处理；历史近邻，不算本周新结果。