AI 能察觉哪里可能出错,接下来却未必会把错误改好。语音代理可以主动要求拼写姓名,最终仍把错误字符写入数据库;内部 Agent 的监控规则看似覆盖广泛,一部分轨迹却可能没有真正送达检查器。本期沿着这两个具体缺口,回访此前“先确认任务发生了,再判断做得对不对”的观察:检查有没有发生、看到什么、处理了什么,需要分别留下证据。
先读 Sierra 的语音实体基准。“实体”在这里是姓名、地址、编号等必须准确记录的字段;对话听起来顺畅,无法代替最终值正确。再读 Redwood 与 METR 对内部监控的调查,理解“符合监控条件”为什么不是“实际检查完成”。报告研究的是七月的历史系统,正文保留了修复声明与尚未复核的边界。
架构选择也可以从具体缺口出发。Anthropic 分享何时合并子代理,并与 Theorem 展示把测试入口转成证明的新进展;OpenShell 把权限约束放进运行环境,LiteLLM 事故则提醒我们核对发布物与批准的源码是否一致。它们处理的是不同层次,阅读时不必把任何一项当成通用答案。
另两篇留给能力探索与个人体验:WorldTUI 用小模型在浏览器中模拟终端,最有启发的实验是局部预测近乎不变、状态记忆却完全失效;Chris Kiehl 则谈到,做软件的效率与亲手编程的乐趣可以是两种目标。可以按阅读链接直达关心的问题,学习卡提供一个尚未执行的状态测试练习。
当日材料
- 语音代理会要求再说一遍,为什么仍记错名字?
- 一次内部监控红队调查:覆盖率的分母从哪里来
- 子代理何时该合并:先看它们是否反复传递同一份上下文
- Anthropic 与 Theorem:把模糊测试入口变成可检查的证明
- OpenShell 把权限放进运行环境,证明器还要说明证明了什么
- LiteLLM 1.107.0 事故:签名发布物也要核对构建来源
- WorldTUI:208 MB 的终端模拟器,暴露了局部准确率看不到的记忆
- Chris Kiehl:让 AI 做软件,不必让自己放弃编程的乐趣