持续追踪

让小策略暴露微型世界模型的漏洞

按时间保留当时的判断和后续核查;历史收录不代表刚刚重新验证。

2026-10-31 · 当时的记录

从可看见、可回放的小游戏出发,重现策略怎样找到预测模型的漏洞,再比较补数据是否修复了真实行为。

先选择Breakout,分别在规则环境与学习环境中运行同一策略,保存出现高梦境奖励却低真实得分的轨迹。然后区分三类原因:训练数据没有覆盖策略访问的状态,预测奖励与状态转换不一致,或量化和解码约束改变了动作后果。针对第一类可按作者路径补收集数据;针对后两类应先核对浮点、整数参考和Rust输出的一致性,避免把导出错误误认作强化学习的新现象。

一个有用的比较是,在相近新增数据预算下,随机补样本与补采当前策略容易利用的状态,哪一种更能改善规则环境成绩,并检查旧状态是否退化。帧准确率可以诊断预测,但最终应回到真实游戏的得分与失败类型。如果两种采样同样有效,或所谓漏洞其实是显示/奖励实现错误,就应接受较简单的解释。这些比较均为拟议复现,没有本地实验结果。

回到当期正文 ↗

查看依据tinyworldformer:模型、失败轨迹、导出与复现入口 · Ha与Schmidhuber:World Models