持续追踪

Sphinx 要你解释改动,也暴露了出题者会判错

按时间保留当时的判断和后续核查;历史收录不代表刚刚重新验证。

2026-10-18 · 当时的记录

当 Agent 写完代码,开发者可能能说出需求,却解释不了失败路径。Sphinx 把这个落差做成一个具体流程:推送到受保护分支时,独立审查模型读取已提交的改动,以场景题让人预测代码行为;它不读取生成代码时的聊天。如果回答暴露误解,系统解释后再给新场景,通过后才继续同一次推送。项目提供跳过和 yolo 选项并记录原因,问答不返回给原编程 Agent;这些是实现文档中的设计声明,本日报未安装验证。

README 用后台队列作演示:worker 已提交业务操作,却在确认消息前崩溃,队列再次投递时会不会重复执行?下一题再改变可见性超时和并发条件,检查回答者是否真的理解去重边界。这个例子是作者的示范,不是已经发生的生产事故。更有信息量的是项目自己的评测:10 月 15 日记录的最新固定源码 V19/V20 覆盖五个小型合成仓库,七道生成题的十四个判分探针有十二个符合预期;授权题曾因回答未提特定代码条件而拒绝充分解释,配置题还暴露了题目措辞与格式问题。作者明确写出,即使 560 项单元与集成测试通过,也不代表语义评测全绿。

本次记录的观点:Sphinx 项目作者 · jamienk · sshah03 · hypfer

回到当期正文 ↗

查看依据原文 · 原始依据 · 原始依据 · 原始依据