持续追踪

一次内部监控红队调查:覆盖率的分母从哪里来

按时间保留当时的判断和后续核查;历史收录不代表刚刚重新验证。

2026-10-23 · 当时的记录

Redwood Research 的 Buck Shlegeris 于 10 月 22 日公开一份与 METR 合作的内部 Agent 监控调查。两位研究人员在 7 月 21 日至 8 月 11 日获得较深入的系统访问,检查 OpenAI 当时的内部监控路径。公开报告经过删节;它描述七月的系统状态,不代表今天仍存在相同问题。

最关键的区分是“应当被监控”与“已经进入监控管线”。作者估计,当时 GPT-5.5 及以上模型的内部 Responses API Agent 使用中,符合覆盖条件的约占 75%—94%,内部 Codex 的相应比例约为 99.2%。但符合条件只是入口规则:压缩上下文的事件未正确进入后续处理,作者估计曾使五月至七月约一成符合条件的内部 Codex 流量漏掉检查。历史日志不完整,这是一项数量级估计;OpenAI 在此次调查前已独立发现问题,并在调查期间修复。

另一个设计缺口是检查由“把控制权交回用户”触发。作者认为,持续行动而不结束轮次,在原则上可能推迟检查;他们没有足够访问权限核实实际利用。报告因此建议按行动数或时间定期检查,并把监控运行、日志覆盖和事件处置分别对账。OpenAI 表示影响生产安全措施的问题已修复,作者尚未验证所有修复结果。

本次记录的观点:Buck Shlegeris

回到当期正文 ↗

查看依据原文 · 原始依据 · 原始依据