持续追踪

给 Agent 的规则更新配一份“旧成功保护清单”

按时间保留当时的判断和后续核查;历史收录不代表刚刚重新验证。

2026-10-17 · 当时的记录

不只重跑以前失败的任务,也挑出最可能被新规则误伤的旧成功。已有工具能帮助少跑一些测试,值得补的是“这次改动最容易伤到谁”。

一个方向是把“规则—适用条件—例外任务”连起来。更新规则时,除了附上原失败,再附上少量容易被它误伤的旧成功。可以先由维护者写这些关系,后续再考虑自动推荐,不必一开始就训练复杂选择器。

另一个方向是把通用小测试集和专项保护集组合使用。前者帮助判断总体变化,后者专门盯少见却重要的约束,例如合法重复、已经转换过的时区、允许访问的本地测试服务。值得了解的是两种测试各自能抓到什么,而不是先假定新的选法一定胜过随机抽样。

还有一个很实用的方向是解释“本次没测出差别”。是规则没有被加载,还是相关任务没选进来,或确实没有明显变化?把这几种情况在更新记录里分开,往往比再给一个总分更能帮助开发者决定下一步。

回到当期正文 ↗

查看依据Mason Mosen · 规则修改后的旧失败回放 · 原讨论 · CopperForgeAI 代码清理帖 · Cortex · Measurement-Gated Evolution and Pruning · DeltaSelect · 项目与运行入口 · DeltaSelect · 方法与局限 · Microsoft Research · Agent Skills Can Be Harmful