Lingxiao Tang、Wei Tao、Yiwen Guo、Lingfeng Bao · 阅读原文
原始来源:Lingxiao Tang、Wei Tao、Yiwen Guo、Lingfeng Bao
发现渠道:Hugging Face Daily Papers
编程 Agent 由模型与运行框架共同完成任务:模型决定动作,框架负责执行工具、返回结果和提示运行状态。HarnessAdapt-RL 研究的是两部分一起变化时怎样训练,而不是给固定模型再写一套提示词。它从修复轨迹中区分两类问题:诊断或修复思路不对,以及编辑失败、输出太多、验证不足等跨任务反复出现的交互问题。
前一类交给冻结的教师模型,生成解释何时、为何采用某种修复策略的临时技能;后一类由另一教师提出工具与运行钩子的改动。候选框架与当前框架使用相同模型、任务、技能和采样预算比较,只有通过率或可用于训练的轨迹比例至少一项增加、另一项不下降才保留。随后用新采样轨迹进行 GRPO 强化学习,再根据更新后的模型重新改框架。
论文以 Qwen3.5-9B 和 mini-swe-agent 为基础。在三个 SWE-bench 修复基准上,完整系统的平均单次成功率为 44.9%,GRPO 基线为 35.3%;基线拥有两倍策略训练采样,但完整方法另有教师调用与框架搜索开销。评测时移除临时技能和教师,保留最终工具与钩子。固定训练权重再拿掉这些工具,最多损失 7.7 个百分点。每套配置只训练一次,三次重复指评测,不能说成三次独立训练复现。
可信度 65 · 重要性 82 · 新颖度 86
技术与主题
Agent 系统 · AI 编程 · 评测与基准 · 训练与对齐 · GRPO · Harness Optimization · Agent Tools · Training-time Skills
编辑评读
这项工作的贡献,是把部署资产的边界说得更清楚。技能内容在训练后可以撤掉,相关收益仍留下;部分工具支持却需要随模型一起交付。因此,比较两个模型权重并不能复现表中的完整 Agent 排名,换一个常用运行器也可能改变结果。对开源模型使用者来说,工具与钩子的版本应和模型版本一起记录。
一个具体例子比“框架会进化”更有解释力:后期轨迹显示模型减少了验证,即使已有测试工具和提醒。作者于是让准备补丁的工具自动挑选相关测试,并把失败情况反馈给模型。这把部分操作落实进程序,而没有假定更长的提醒总会有效;自动选择仍只提供部分验证,准备补丁成功也不等于测试通过。
同条件候选比较有助控制模型变化,但“观察到一项提高、另一项不降”的接受规则并不是显著性检验。作者明确承认有限采样和重复搜索会影响入选。可以借用这种交替调整的方法,但若要判断总训练成本是否划算,还需把教师、比较采样与独立训练波动纳入共同预算;本期没有运行该实验。