持续追踪

HarnessAdapt-RL:训练会改模型,也要重调工具

按时间保留当时的判断和后续核查;历史收录不代表刚刚重新验证。

2026-10-22 · 当时的记录

编程 Agent 由模型与运行框架共同完成任务:模型决定动作,框架负责执行工具、返回结果和提示运行状态。HarnessAdapt-RL 研究的是两部分一起变化时怎样训练,而不是给固定模型再写一套提示词。它从修复轨迹中区分两类问题:诊断或修复思路不对,以及编辑失败、输出太多、验证不足等跨任务反复出现的交互问题。

前一类交给冻结的教师模型,生成解释何时、为何采用某种修复策略的临时技能;后一类由另一教师提出工具与运行钩子的改动。候选框架与当前框架使用相同模型、任务、技能和采样预算比较,只有通过率或可用于训练的轨迹比例至少一项增加、另一项不下降才保留。随后用新采样轨迹进行 GRPO 强化学习,再根据更新后的模型重新改框架。

论文以 Qwen3.5-9B 和 mini-swe-agent 为基础。在三个 SWE-bench 修复基准上,完整系统的平均单次成功率为 44.9%,GRPO 基线为 35.3%;基线拥有两倍策略训练采样,但完整方法另有教师调用与框架搜索开销。评测时移除临时技能和教师,保留最终工具与钩子。固定训练权重再拿掉这些工具,最多损失 7.7 个百分点。每套配置只训练一次,三次重复指评测,不能说成三次独立训练复现。

回到当期正文 ↗

查看依据原文 · 原始依据