Jiahao Wang 等 · arXiv v1 · 阅读原文
发现渠道：Hugging Face Daily Papers
AgentSWE 把“让编程 Agent 建造另一个 Agent”分成创建、修改和优化，共25项委托。构建者先在少量公开例子上开发，交付冻结后，再运行未见用例；创建和修改同时受启动、接口与权限等硬规则约束。作者报告最强配置的创建、修改平均分分别为19.1和31.6（0–100分），不是通过率。基准关心的是交付后的行为能否满足完整需求，而不只看源码是否像一个成品。
可信度 65 · 重要性 82 · 新颖度 78
技术与主题
Agent 系统 · AI 编程 · 评测与基准 · Coding Agents · Held-out Evaluation · LLM-as-Judge
编辑评读
这组任务的价值，是把自然语言承诺变成可执行的验收对象。固定最终实现后换用例，能暴露只照顾演示路径的实现；启动成功与完成要求也被分别检查。
但得分并不是无需再问的真值。创建和修改使用模型裁判读取执行轨迹，同一模型家族也参与部分构建配置；优化则用各源基准自身的目标。跨任务家族的绝对分数不宜直接比较。主比较每个构建者与任务配对只跑一次，附录的重复研究覆盖另一批条件。
因此最可移植的做法是冻结交付、保存轨迹、在看不见的条件下测试需求。把论文中的低分改写成所有编程 Agent 都无法做工程，会超出25项委托和这些运行配置。
需要留意
- 模型裁判与单次主比较
- 未取得独立复测；已查看项目README和公开Issues。