2026-10-17
分清模型学会了，还是环境已经替它做了
研究方向 · 先看评测复现 · Agent Training / Scaffolding / Behavioral Evaluation / Transfer
长轨迹和高成功率不一定说明目标能力经过了练习。可以从已有的环境审计出发，观察哪些辅助让任务变得可学，哪些辅助把关键选择也一并拿走了。
他们已经做了什么
TerminalHorizon 在构造终端训练任务时，会检查环境是否已经把本应由 Agent 完成的工作做好，再重建缺失的任务内容。它让“训练样本是否有足够工作可做”成为一个具体问题。但提供帮助并不天然有害：PATS 把技能当作可调整的训练辅助，随策略变化修改提示，并在部署时去掉辅助。两者提醒我们，不应只按提示多少或轨迹长短判断数据好坏。
这次找到的 The Double Measurement Confound in Agent Benchmarks 则更直接。作者区分关键决策由模型还是外部程序完成，同时检查评分器究竟在验证行为正确，还是只验证输出形式。它已经提供了 BenchAudit 的审计思路。因此，单纯提出“检查外部支架是否代替模型做事”并不新；有意思的是把这种检查带到训练数据选择和学习迁移的问题上。
为什么把这些线索放在一起
10 月 14 日的知识库观察把 TerminalHorizon、分阶段起点和分枝训练放在一起，关心的是辅助之后还剩什么需要学习。另一个长期问题则提醒我们，检查通过未必覆盖想要的承诺。两条线在这里汇合：训练任务通过，和模型学会了我们希望它掌握的判断，并不是同一件事。
以时间处理为例，任务可能要求根据输入判断时区，但模板已经写死转换方式。模型仍能读文件、运行脚本、修格式，留下不少步骤。改变输入条件后，它会不会改变实际处理方式，比“有没有一大段推理”更值得看。这个例子是帮助选题的构造，不是 TerminalHorizon 已报告的失败。
可以往哪些方向走
最容易起步的是复现一个“排行榜被环境掩盖”的小案例。沿着 BenchAudit 的思路，把外部程序替模型做的步骤和最终评分分别拆开，看结论会不会变化。这样的复现本身就有教学和评测工程价值，可以让人直观看懂一个高分究竟来自哪里。
更偏研究的方向是用任务的关键变化检查训练数据。输入事实发生变化时，正确动作应该随之改变；只改措辞时，动作则未必需要变。CheckList 早就使用过这类行为测试思路，不必发明新的术语。值得继续探索的是：这些检查能否帮助找到“看似完成、实际没练到目标能力”的训练样本。
再往前一步，可以研究辅助怎样逐渐撤掉，而不是简单比较有无辅助。对弱模型，完全没有支架可能根本拿不到有效反馈；对于已经掌握的步骤，持续给出答案又可能没必要。把 PATS 一类自适应辅助与环境审计联系起来，追问什么时候保留帮助、什么时候把选择还给模型，是比“支架越少越好”更有意思的方向。
值得做在哪里
这条既有一个小而直观的复现入口，也有继续深入训练研究的空间。工程上可以做成数据集的审计说明，告诉使用者任务主要练什么、哪些步骤已经被工具代做。研究上更值得关心的是审计结果与新任务表现的关系，而不是只提出一个新分数。若能帮助筛出少量真正有训练价值的任务，即便不产生新模型架构，也可能很有用。
从哪里开始看
先读 BenchAudit 的审计条件与局限，再回看 TerminalHorizon 的环境处理，最后读 PATS 的辅助调整思路。实践可以从一个数据清洗或接口适配任务开始：保留可执行环境，只改变一处会影响正确处理方式的条件，比较模型的实际动作。先弄懂一个案例，再决定是否需要训练实验。
暂时不往哪里走
不把环境不一致、过期模板或运行失败都解释成模型没有学会；也不把额外辅助一律当作数据泄漏。现有近邻工作已经覆盖行为测试和支架审计，继续深入时应聚焦它们如何帮助训练，而不是再造同义的审计名字。
回看线索
来源与查新记录
-
TerminalHorizon · Scaling Agentic Data for Long-Horizon Terminal Intelligence · 2026-10-17 · 复查环境构造与 §4.3 的实验范围，未据此声称已经隔离出所有环境因素的训练收益。
-
The Double Measurement Confound · BenchAudit · 2026-10-17 · 读取引言、审计卡与 §6 局限。已有决策归属和评分有效性的联合审计；跨领域及训练迁移不由该结果自动成立。
-
PATS · Policy-Aware Training Scaffolding · 2026-10-17 · 核对当前 v2 摘要及版本历史，确认动态训练辅助与部署时移除；未读取完整实现，不将它列为已跑通复现。
-
CheckList · Beyond Accuracy · 2026-10-17 · ACL 原始论文页提供既有行为测试背景；方向性变化与不变性测试不是本期新发明。