Google Cloud AI Research 等 · 论文与开源项目 · 阅读原文

原始来源:Google Cloud AI Research 等 · 论文与开源项目

发现渠道:Reddit · r/LocalLLaMA

Harness² 固定基础模型权重,改动的是提示、记忆、工具指导、技能与子 Agent 等运行组件。内层先提出修改,在匹配条件下试跑候选,再比较执行行为并组合修改;外层把采用过的组件与经验留下来,指导后续任务如何改进。作者在三项专业工作基准、四种模型与框架配置上报告收益,其中 WorkBuddy-Bench 单步改进最高 11.5 分。这里的“无需标准答案”指改进过程;最终效果仍由基准评分评价。

编辑分析:值得关注的是把“怎样改框架”本身变成可积累经验,而不是只继承上一个任务的整套配置。但作者也承认,试跑增加计算成本,行为对比和模型判断可能共享偏差,不能保证改动正确或迁移有效。仓库进一步提醒,默认网络访问等设置可能接触网上评分资料,复现实验必须说明环境;这是一项配置风险提示,不是已经证明结果受到污染。

可信度 65 · 重要性 75 · 新颖度 68

技术与主题

Agent 系统 · 评测与基准 · Harness · Recursive Improvement · Contrastive Probing · Experience Library

编辑评读

值得关注的是把“怎样改框架”本身变成可积累经验,而不是只继承上一个任务的整套配置。但作者也承认,试跑增加计算成本,行为对比和模型判断可能共享偏差,不能保证改动正确或迁移有效。仓库进一步提醒,默认网络访问等设置可能接触网上评分资料,复现实验必须说明环境;这是一项配置风险提示,不是已经证明结果受到污染。

核查依据

所属事件

收录记录