追踪记录 ↗01准备训练环境，也是在选择 Agent 能学到什么
TerminalHorizon 提出一个容易被数据规模掩盖的问题：合成环境时，如果资料已经完成分析、模板已经实现关键步骤，Agent 即使跑很多轮，也未必练到原先想培养的能力。[1] 因此“准备好环境”要拆成两件事：让任务能够执行，以及给求解者留下真正需要完成的工作。前者越方便，并不自动意味着后者越充分。
这与库内此前讨论的判断练习有关，但对象已经变了。人的带教问题问的是，自动化之后还能否看到选择与反馈；这里问的是训练数据里到底有没有这种选择。两者可以共用“先明确待练习的判断，再检查它是否实际发生”的设计思路，却不能把模型训练收益当成人类培养有效的证据。今天的新材料支持提出一个更具体的问题，没有解决此前的带教假设。
AlphaNIST 提供了值得保留的反例。它给出多种装配起点，让策略先有机会练成结尾，而没有直接规定每一步怎样抓取、旋转和安装。[2] 环境支架并非越少越好：有些支架增加可学习的经验，有些支架则把答案预先写进任务。关键差别在于，支架之后还剩什么需要策略自己发现。该实验里二元任务奖励优于所比较的密集塑形，也不能扩写成所有任务都应删除过程奖励。
BranchOPD 从另一个位置处理经验不足：保留共同前缀，在有信息量的分叉处让学生尝试不同后续。[3] 它增加的是同一情境下的行为覆盖，不是新的独立任务。把这点与长轨迹并排看，会发现长度和覆盖都只是手段；一条很长却不断重复的轨迹，以及许多只改变措辞的分枝，都可能没有增加新的判断机会。应检查后续行为到底哪里不同，区别怎样进入训练信号。
验收也要保留同样的区分。AgentSWE 把开发时看见的少量例子与冻结提交后的保留用例分开。[4] 演示让实现者理解接口，却不应成为全部需求的替身。这项基准也依赖模型裁判和有限任务，不能替我们定义所有用户的要求。它真正有用的地方，是让“写出了一个像样的 Agent”与“交付后能处理没见过的情况”有了分别观察的入口。
我的判断是，训练环境、开发样例和验收用例应围绕同一个目标，各自保留不同信息。训练侧可以给探索提供可达起点；开发侧可以暴露接口与基本反馈；验收侧则要检验新的条件组合。增加一个检查角色未必带来外部证据，增加一个复杂场景也未必留下复杂工作。需要追到实际轨迹，看分析、实现、纠正各发生在谁手里。
一个可执行的比较，是在相同目标下准备三种环境：提供最终答案或实现片段、只提供可操作资料、以及提供分阶段起点但不指定解法。固定模型、训练预算与最终保留测试，同时记录关键决策是否实际发生。若第三种方式只提高熟悉起点的表现，就把结论限制在这些起点；若第二种方式因探索太难几乎没有有效反馈，也应承认适当支架的必要。这是编辑提出的实验，不是四篇工作已经完成的共同验证。
任务长度、教师能力、样本筛选和额外算力也可能解释收益；机器人仿真与终端任务的状态和奖励机制不同，不能直接互推。
比较支架种类而非只比较轨迹长度，检查陌生起点、未见条件组合与等预算收益。
相关条目：AgentSWE：从演示样例到冻结交付，还隔着一组保留测试 / TerminalHorizon：重建训练环境，把被预先做掉的工作还给 Agent / BranchOPD：在有信息的分叉处采样，生成费用与总成本分开看 / AlphaNIST：二元奖励学会装配，结果仍限于仿真
来源 1 · 来源 2 · 来源 3 · 来源 4
追踪记录 ↗02省下的推理费，需要和交付质量一起算
IBM 的芯片设计案例给旧成本问题增加了一个具体对照：相同的假设数量，得到的设计并不相同。[1] 因而“搜索更便宜”不能直接读成“买到了相同质量的结果”。对团队而言，先确定设计的速度和资源门槛，再比较满足门槛的费用，往往比先看价格倍数更有用。
值得保留的正面证据是，开放模型和服务系统一起降低了这次探索的推理账单。它不是靠少生成 token 得来的：文中开放配置反而使用了更多 token。这个细节修正了把便宜一律归因于“少做事”的阅读倾向。与此同时，模型配置、服务价格与缓存共同变化，现有比较并没有单独识别每项机制贡献多少。
如果目标是一个能用的紧凑设计，较便宜的方案可能已经够用；如果必须追求更低延迟，另一配置的额外收益也可能值得花钱。这不是用结果质量否定低成本，而是让低成本落在实际的选择上。作者增加开放搜索预算后的收益递减，也提醒我们，省下的钱不一定按比例变成更好的设计。多次独立搜索比一次继续扩展更好，还是更差，仍需比较。
Minions 则把费用问题移到资源取得方式：闲置 Mac 可以减少新增设备需求，却仍需要领取任务、保存输出和处理机器离线。[2] HN 的 dekhn 从自述的闲置算力经历提出尾延迟、异构兼容与管理问题。[3] 这不是对 Minions 的独立测试，但提供了原报告没有量化的核算对象。若已有资源只能在某些时段用，“能开始运行”与“能按期交付”就可能不同。
BranchOPD 的生成 token 节省又是第三种口径，教师评分、反向传播和环境恢复仍在这个数字之外。[4] 它与闲置设备和缓存路由没有共享实验，收益不能相加；并排阅读的意义是提醒我们，优化最先测到的那一段，未必是用户最后支付的那一段。
回访后的判断保留旧问题，但把比较条件补得更严格：不是只要求总预算一致，还要写清可接受结果的门槛。先预定一组任务、最低质量和截止时间，再核算成功及失败的推理、验证、综合、重试和人工成本；硬件探索同时报告延迟与面积，批任务报告最慢部分何时完成。若更便宜的方案只在放宽要求后达标，应如实呈现这个取舍。当前仍缺重复搜索和完整工作流账单，不能把三个案例合成普遍省钱结论。
有些任务只需达到较低而明确的验收门槛，较便宜模型或现有闲置设备已足够；追求最大指标收益可能浪费预算。
优先找同质量门槛、固定时限、多次独立运行的完整成本对照，保留低成本方案真正达标的正面结果。
相关条目：IBM 的开放模型芯片探索：推理费少了，最优设计也不同 / Minions：让闲置 Mac 领取推理批任务，先看适用的并行粒度 / BranchOPD：在有信息的分叉处采样，生成费用与总成本分开看
来源 1 · 来源 2 · 来源 3 · 来源 4
