Memdoor 的 team-solve 用五种角色组织同一个 Qwen3.8-27B:规划者、两名出主意的 Agent、解题者和经理通过文件共享计划与答案。需要修复时,再让新上下文中的执行者处理。这项实践承接 GVS5H 的多角色方案,重点是把协作步骤放进可改写的工作流,而不是训练一个新模型。
作者从 LiveCodeBench Hard 取了前十道题,每题跑五次,总计五十次,解出四十九次。这里的五十是运行次数,不是五十道不同题。对照列出的 GVS5H 和 Fable 5 成绩来自原项目已保存数据的重新评分,并非作者在同一服务环境中重跑全部模型。各服务的精度、部署方式也不同,不能从表格直接得到同成本的优劣结论。题目来自 2025 年比赛,还需考虑训练数据污染的可能。
最有信息量的是失败轨迹。一次运行本来已经得到正确程序,经理提出错误的反例,促使团队改成了错误答案;公开样例仍通过,隐藏测试却只过了 32/44。另两次也曾把正确解改坏,后来才恢复,成为花费最高的运行。作者记录五十次完成运行花费 35.79 美元;连同十六次中止尝试则为 38.77 美元。模型时间中位数约四十分钟,最长约四小时。建议中的穷举核对反例、保留旧解,还没有计入这批成绩。