Hyunin Lee 等 · UC Berkeley / Sakana AI · 阅读原文

原始来源:Hyunin Lee 等 · UC Berkeley / Sakana AI

发现渠道:Hacker News · 当期讨论

MASS 用同一套 Qwen3.6-27B 权重执行、评价和优化团队工作流:内层搜索分工与交接,外层从较好的执行轨迹做 LoRA 微调,再进入下一轮。作者跑了两轮;合成任务中三项留出任务不参与微调或检查点选择,结果另交强模型评价。四个研究基准的分数/输出 token 比值达到基线的 1.2–1.6 倍,但 Terminal-Bench 2.0 与 SWE-bench Verified 分别为 0.96、0.94 倍。这个比例是单位输出 token 指标,不是总计算成本下降幅度。

可信度 65 · 重要性 79 · 新颖度 65

技术与主题

Agent 系统 · 评测与基准 · 训练与对齐 · Multi-Agent Self-Supervision · Workflow Optimization · LoRA · LLM-as-Judge

Hyunin Lee 等

观点原文

原作者方法与适用范围,摘述第 3 节及附录 D;CC BY 4.0。

忠实转述(非原句):作者认为,团队轨迹把编排和局部执行共同变成监督信号;他们也明确,软件工程两个基准的单位输出 token 指标没有随研究基准一起提高。论文将补充软件工程训练任务列为可能的改进,而不是已经完成的结果。

Auto Research

观点原文

公开实现文档对同一 v1 工作的诊断;身份与独立性尚不能充分核实。

忠实转述(非原句):文档报告,小型共享检查点完成了搜索、裁判、轨迹采集与 LoRA 的两轮短运行;但工作流固定在两名工作者与一名编排者,没有任意工作流图或文件、终端工具。因此作者把它标为流程诊断,而非完整科研 coding-agent 复现。

编辑评读

值得关注的是,它把协调过程作为可学习的数据。模型不仅看到局部答案,还学习如何布置工作、要求返回哪些检查结果;这比每天在一个固定提示词后加更多角色更有研究价值。它能否迁移到新任务,仍需要看任务族和数据选择,而不是只看参与者数量。

论文附录 D 把训练效率口径说明得更具体:68.3% 与 64.0% 是分别对基础模型的胜率,并非两学生直接对战;28.82M 与 42M 是处理过的监督目标 token。训练任务覆盖、采样和检查点选择也不同,所以不能把差额全部归因于多 Agent,更不能把它视为搜索、数据生成、评价都计入后的总成本优势。

外部模型判断不进入 MASS 循环,是一项有用的隔离;它避免直接用训练中的自评分证明提升。更难的下一步是核查具体研究产物:数据时间切分、失败运行和实现是否符合报告。另一个项目公开了小模型短流程诊断,明确没重跑论文 benchmark;这提供实现线索,尚不能当作能力独立复现。

需要留意

  • 研究基准自报;开放任务仍使用模型评价,软件工程迁移不均。

核查依据

所属事件

收录记录