持续追踪

准备训练环境,也是在选择 Agent 能学到什么

按时间保留当时的判断和后续核查;历史收录不代表刚刚重新验证。

2026-10-14 · 当时的记录

TerminalHorizon 提出一个容易被数据规模掩盖的问题:合成环境时,如果资料已经完成分析、模板已经实现关键步骤,Agent 即使跑很多轮,也未必练到原先想培养的能力。[1] 因此“准备好环境”要拆成两件事:让任务能够执行,以及给求解者留下真正需要完成的工作。前者越方便,并不自动意味着后者越充分。

这与库内此前讨论的判断练习有关,但对象已经变了。人的带教问题问的是,自动化之后还能否看到选择与反馈;这里问的是训练数据里到底有没有这种选择。两者可以共用“先明确待练习的判断,再检查它是否实际发生”的设计思路,却不能把模型训练收益当成人类培养有效的证据。今天的新材料支持提出一个更具体的问题,没有解决此前的带教假设。

AlphaNIST 提供了值得保留的反例。它给出多种装配起点,让策略先有机会练成结尾,而没有直接规定每一步怎样抓取、旋转和安装。[2] 环境支架并非越少越好:有些支架增加可学习的经验,有些支架则把答案预先写进任务。关键差别在于,支架之后还剩什么需要策略自己发现。该实验里二元任务奖励优于所比较的密集塑形,也不能扩写成所有任务都应删除过程奖励。

BranchOPD 从另一个位置处理经验不足:保留共同前缀,在有信息量的分叉处让学生尝试不同后续。[3] 它增加的是同一情境下的行为覆盖,不是新的独立任务。把这点与长轨迹并排看,会发现长度和覆盖都只是手段;一条很长却不断重复的轨迹,以及许多只改变措辞的分枝,都可能没有增加新的判断机会。应检查后续行为到底哪里不同,区别怎样进入训练信号。

验收也要保留同样的区分。AgentSWE 把开发时看见的少量例子与冻结提交后的保留用例分开。[4] 演示让实现者理解接口,却不应成为全部需求的替身。这项基准也依赖模型裁判和有限任务,不能替我们定义所有用户的要求。它真正有用的地方,是让“写出了一个像样的 Agent”与“交付后能处理没见过的情况”有了分别观察的入口。

我的判断是,训练环境、开发样例和验收用例应围绕同一个目标,各自保留不同信息。训练侧可以给探索提供可达起点;开发侧可以暴露接口与基本反馈;验收侧则要检验新的条件组合。增加一个检查角色未必带来外部证据,增加一个复杂场景也未必留下复杂工作。需要追到实际轨迹,看分析、实现、纠正各发生在谁手里。

一个可执行的比较,是在相同目标下准备三种环境:提供最终答案或实现片段、只提供可操作资料、以及提供分阶段起点但不指定解法。固定模型、训练预算与最终保留测试,同时记录关键决策是否实际发生。若第三种方式只提高熟悉起点的表现,就把结论限制在这些起点;若第二种方式因探索太难几乎没有有效反馈,也应承认适当支架的必要。这是编辑提出的实验,不是四篇工作已经完成的共同验证。

回到当期正文 ↗

查看依据原始依据 · 原始依据 · 原始依据 · 原始依据