持续追踪

AgentSWE:从演示样例到冻结交付,还隔着一组保留测试

按时间保留当时的判断和后续核查;历史收录不代表刚刚重新验证。

2026-10-14 · 当时的记录

AgentSWE 把“让编程 Agent 建造另一个 Agent”分成创建、修改和优化,共25项委托。构建者先在少量公开例子上开发,交付冻结后,再运行未见用例;创建和修改同时受启动、接口与权限等硬规则约束。作者报告最强配置的创建、修改平均分分别为19.1和31.6(0–100分),不是通过率。基准关心的是交付后的行为能否满足完整需求,而不只看源码是否像一个成品。

回到当期正文 ↗

查看依据原文 · 原始依据