持续追踪

StopLoss:小模型决定何时停下,账单必须算入误停

按时间保留当时的判断和后续核查;历史收录不代表刚刚重新验证。

2026-10-21 · 当时的记录

编程 Agent 有时会长时间重复失败尝试,继续花钱却没有解决任务。StopLoss 把“这次运行还值得继续吗”做成独立监控器:执行 Agent 不变,外部70亿至80亿参数的小模型只读取最近的行动和工具反馈,预测继续、停止或交付。它既不需要读取执行模型的隐藏状态,也不靠一段昂贵的长篇推理来判断。

研究者用已有运行的最终验证结果构造训练窗口:失败轨迹的窗口标为停止,成功轨迹接近结尾的窗口标为交付,其余标为继续。实际监控从第5步开始,每隔3步看一次最近3组行动—观察,输入上限1600 token,直接读取类别分数。这里容易出现一个统计陷阱:一条本来成功的运行只要有一次分数越界,就会被误杀。因此阈值校准针对成功轨迹中的最高停止分数,而不是把各个窗口当成互相独立的样本。

论文评估的是离线回放中的中止策略,扣掉被截断的后续执行费用,再加上监控费用,并计算每个保留成功任务的成本。对一个 Verified/Luna 设置,作者报告保留99%的成功,单位成功成本降低4.5%;更难的 Pro 条件下出现更大收益,说明余下失败成本越高,停止策略越可能划算。另一方面,能力强的通用裁判也可能因检查费用过高,反而抬高总成本。

这些数字有明确边界。策略评估使用每个执行器共享的425道 Verified 与213道 Pro 任务,Pro仅覆盖三个Python仓库;小模型开销由 A6000 单卡推理时间折算,并未完整计入训练、空闲服务和线上调度。校准集上的误杀目标也不是换模型、换任务后的保证。论文没有验证停止后交给另一条路线重试的效果。

回到当期正文 ↗

查看依据原文 · 原始依据 · 原始依据