长轨迹和高成功率不一定说明目标能力经过了练习。可以从已有的环境审计出发,观察哪些辅助让任务变得可学,哪些辅助把关键选择也一并拿走了。
最容易起步的是复现一个“排行榜被环境掩盖”的小案例。沿着 BenchAudit 的思路,把外部程序替模型做的步骤和最终评分分别拆开,看结论会不会变化。这样的复现本身就有教学和评测工程价值,可以让人直观看懂一个高分究竟来自哪里。
更偏研究的方向是用任务的关键变化检查训练数据。输入事实发生变化时,正确动作应该随之改变;只改措辞时,动作则未必需要变。CheckList 早就使用过这类行为测试思路,不必发明新的术语。值得继续探索的是:这些检查能否帮助找到“看似完成、实际没练到目标能力”的训练样本。
再往前一步,可以研究辅助怎样逐渐撤掉,而不是简单比较有无辅助。对弱模型,完全没有支架可能根本拿不到有效反馈;对于已经掌握的步骤,持续给出答案又可能没必要。把 PATS 一类自适应辅助与环境审计联系起来,追问什么时候保留帮助、什么时候把选择还给模型,是比“支架越少越好”更有意思的方向。