不只重跑以前失败的任务,也挑出最可能被新规则误伤的旧成功。已有工具能帮助少跑一些测试,值得补的是“这次改动最容易伤到谁”。
一个方向是把“规则—适用条件—例外任务”连起来。更新规则时,除了附上原失败,再附上少量容易被它误伤的旧成功。可以先由维护者写这些关系,后续再考虑自动推荐,不必一开始就训练复杂选择器。
另一个方向是把通用小测试集和专项保护集组合使用。前者帮助判断总体变化,后者专门盯少见却重要的约束,例如合法重复、已经转换过的时区、允许访问的本地测试服务。值得了解的是两种测试各自能抓到什么,而不是先假定新的选法一定胜过随机抽样。
还有一个很实用的方向是解释“本次没测出差别”。是规则没有被加载,还是相关任务没选进来,或确实没有明显变化?把这几种情况在更新记录里分开,往往比再给一个总分更能帮助开发者决定下一步。