Dongyang Chen 等 · arXiv v1 · 阅读原文
原始来源:Dongyang Chen 等 · arXiv v1
发现渠道:Hugging Face Daily Papers
BranchOPD 用学生不确定性与师生分歧选择分叉,再从学生自身策略采样不同后续,由教师逐token监督;共同前缀只计一次。PBR另行约束完成答案后的停止和异常协议标记。数学avg@16平均准确率为44.37%;把基线也加上PBR后,相对单轨OPD的增益是5.43个百分点,不能将未修复基线的18.55点全部归给分枝。ALFWorld、WebShop报告的19.1%与31.2%节省只算学生生成token,不含教师、反传和环境回放。
可信度 65 · 重要性 76 · 新颖度 78
技术与主题
Agent 系统 · 评测与基准 · 推理能力 · 训练与对齐 · On-Policy Distillation · Shared-Prefix Branching · Protocol-Boundary Repair
Auto Research
对同一论文的公开实现说明;执行记录为实现者自报,作者身份与独立性未进一步核实。
忠实转述(非原句):实现文档先限定结论:短预算checkpoint只支持运行机制诊断。作者报告用小学生和冻结教师执行了分枝与PBR,保存参数变化;随后明确,没有同预算基线,没有多轮Agent环境恢复,四道验证题不能支持稳定能力提升。旧运行没有触发PBR,也单独保留为未通过的记录。
编辑评读
这个方法保留了学生自己会遇到的状态,又把采样预算集中到存在分歧的地方。它没有要求每条分枝成为一条完整独立任务,因此共享前缀能省下重复生成。部署评测时并不使用分枝,收益来自训练后的学生。
公平比较要同时控制PBR与分枝。PBR本身会改善停止行为;同样,环境回放可能增加其他费用。若一个真实环境不可恢复到同一状态,采样的后续就不再对应原来的决策条件,形式推导的适用前提也随之改变。
外部公开实现文档报告了两步数学训练,确实列出分枝、PBR与参数更新,但没有同预算基线,也没实现ALFWorld/WebShop恢复。它适合检查机制是否落地,不能证明论文的收益已复现。这个边界比把“实现了”直接升格为“复现成功”更有用。
需要留意
- 节省仅计学生生成
- 状态恢复是前提;外部实现仅为短预算机制执行。