Agent 交出结果之后,我们还得做多少事?今天最值得追问的,是那些没有随着“任务完成”一起结束的工作:确认它没有越权,弄清实验为什么变好,判断生成的代码能不能放心合入。
先看 Epoch 和 Anthropic:一个追查漂亮的实验结果,一个检查完成任务的手段。再读 Hales 对 Lean 的讨论,会更清楚地看到,“检查通过”究竟能让我们相信到哪一步。第一篇编辑观察沿着这个问题,讨论怎样找出验收遗漏的条件。
成本则有另一个反直觉的例子:Asana 越勤快地清理旧截图,缓存反而越难复用。结合 Lynch 对模型分工的期待和 TokenRouter 的调度方法,可以继续问:单次调用省下的钱,会不会花在切换和重试上?
最后读 Simon 和 swyx。一边做饭一边开发,与不愿反复折腾新工具,并不矛盾:有人获得了原本没有的工作时段,有人仍被配置和审查占住。第三篇观察补查了 METR 的前后两次研究,试着把省时间、少操心和多做成一些事分开讨论。
当日材料
- 科研 Agent 跑了许多实验,结果真的算创新吗?
- Agent 做不到时,能不能停下来?
- Agent 成本优化:先看看缓存有没有被自己破坏
- Michael Lynch:编程助手为什么还让人费心
- 多 Agent 写代码,怎样把验证放进流程
- Thomas Hales:通过 Lean 检查之后,还需要相信什么?
- Nathan Lambert:进展会很快,但会走向哪里?
- 一个普通用户的评测困惑:会做一次,还是稳定做对?
- Simon Willison 试着用语音做了一个项目
- François Chollet:自我改进不等于智能爆炸
- swyx:团队需要的是把活干完
- Sierra 发布 Personal Agent Protocol 草案
- ttok 1.0 调整默认 tokenizer
- TokenRouter:模型路由的收益,可能被调度开销吃掉