持续追踪

OpenHands × Snowflake:让模型在真正使用的工具循环里训练

按时间保留当时的判断和后续核查;历史收录不代表刚刚重新验证。

2026-11-04 · 当时的记录

同一个模型,换一套系统提示、工具和回合上限,完成任务的方式可能明显不同。这些围绕模型运行的程序通常统称为 harness。做强化学习时,团队常要另写一套训练环境;如果它与生产工具循环不同,模型学到的行为未必能直接迁移。OpenHands 与 Snowflake 的方案让现有 OpenHands SDK 经由 Harbor 任务环境参与训练,尽量复用实际的提示、工具调用和文件操作流程。

一个任务目录同时描述要求、环境和测试。Agent 在沙箱中运行,结束后测试读取实际文件状态并给奖励。训练代理记录跨回合的原始 token 序列,只对模型生成部分计算训练损失,提示和工具返回不计入这部分损失,避免事后拼装对话改变训练对象。

演示使用 Qwen3.5-4B 定位 Python 代码库中的相关文件、模块与函数,每轮最多10次交互,25个训练步骤各采样64条轨迹。图中纵轴是三个定位 F1 分数之和,F1综合衡量查准与查全;总和最高3分,不是修复成功率。配套 README 另列32个评估任务的自测:均值从0.31升到2.10。默认训练与采样各占4张H200,不能把“现成harness可复用”读成低成本桌面教程。

回到当期正文 ↗

查看依据原文 · 原始依据 · 原始依据