持续追踪

发现评测缺陷之后,还要追问它改变了什么

按时间保留当时的判断和后续核查;历史收录不代表刚刚重新验证。

2026-10-26 · 当时的记录

Hamel Husain 在回应 Alex Ratner 时提出一种评测阅读方式:不要只看最终分数,要打开模型被判失败时的执行轨迹,检查失败来自模型能力,还是题目、评分器或执行环境。他说自己检查过的材料质量比预期差,因此形成了较强的怀疑;同时明确表示尚未细查 Terminal-Bench,仍需要更系统的研究。

Ratner 的原帖欢迎独立审查,也不同意仅用“有缺陷”给基准下二元结论。他要求继续测量缺陷对模型运行和排行榜的影响,并指出开源基准会持续修订,不能只把维护者已标记的公开问题当作全貌。两人的分歧落在审查应该走到哪一步:发现错误是入口,错误是否改变能力比较还需要证据。

本期读取 Husain 公开原帖快照及 Ratner 父帖的公开镜像,没有拿到 Husain 所述检查的完整样本、修订前后成绩或代表性抽样方案。下面保留双方理由,不把个人审查经验扩写成全部基准失效。

本次记录的观点:Hamel Husain · Alex Ratner

回到当期正文 ↗

查看依据原文 · 原始依据