原始来源:guregodevo · Memdoor
发现渠道:Hacker News
Memdoor 的 team-solve 用五种角色组织同一个 Qwen3.8-27B:规划者、两名出主意的 Agent、解题者和经理通过文件共享计划与答案。需要修复时,再让新上下文中的执行者处理。这项实践承接 GVS5H 的多角色方案,重点是把协作步骤放进可改写的工作流,而不是训练一个新模型。
作者从 LiveCodeBench Hard 取了前十道题,每题跑五次,总计五十次,解出四十九次。这里的五十是运行次数,不是五十道不同题。对照列出的 GVS5H 和 Fable 5 成绩来自原项目已保存数据的重新评分,并非作者在同一服务环境中重跑全部模型。各服务的精度、部署方式也不同,不能从表格直接得到同成本的优劣结论。题目来自 2025 年比赛,还需考虑训练数据污染的可能。
最有信息量的是失败轨迹。一次运行本来已经得到正确程序,经理提出错误的反例,促使团队改成了错误答案;公开样例仍通过,隐藏测试却只过了 32/44。另两次也曾把正确解改坏,后来才恢复,成为花费最高的运行。作者记录五十次完成运行花费 35.79 美元;连同十六次中止尝试则为 38.77 美元。模型时间中位数约四十分钟,最长约四小时。建议中的穷举核对反例、保留旧解,还没有计入这批成绩。
可信度 65 · 重要性 77 · 新颖度 65
技术与主题
Agent 系统 · AI 编程 · 评测与基准 · Multi-Agent · LiveCodeBench · 反例验证
roenxi
HN 对这份结果的讨论;这里是在推测本地部署潜力,并未展示相同配置复测。
忠实转述(非原句):他认为,更好的协作有望抬高本地模型能力上限,但也提醒,同样的协作方式可能继续改善更强模型,因此不能只给一边增加推理组织。
SwellJoe
回复 roenxi 关于低比特量化后本地运行的推想;为个人判断,不是新基准。
忠实转述(非原句):他质疑把高精度条件下的结果移植到二比特量化模型:能力损失可能让五个实例也无法保持同样表现。
编辑评读
这份小规模记录支持“协作可以组织搜索”,不足以支持“五个小模型已普遍超过一个大模型”。同一道题重复运行能显示随机性,却不能替代更多独立题目;跨服务比较还把模型、精度和推理预算混在一起。作者把这些条件和中止成本公开出来,比单独的高分更有复用价值。
错误反例暴露了另一种控制成本:经理的职责是验收,但模型给出的质疑本身也可能错误。若执行者把角色权威当成事实,增加审核轮次反而会侵蚀已有成果。可迁移的方法是让质疑携带可运行的输入、预期输出及其来源,并保留修改前的候选供比较;样例通过只能作为保留线索,不能证明旧解正确。要判断改进是否有效,还需要在相同题目、预算和服务上比较恢复成功率、总延迟及净得分,本期没有做这个实验。