Hamel Husain 与 Alex Ratner · X 公开讨论 · 阅读原文
原始来源：Hamel Husain 与 Alex Ratner · X 公开讨论
Hamel Husain 在回应 Alex Ratner 时提出一种评测阅读方式：不要只看最终分数，要打开模型被判失败时的执行轨迹，检查失败来自模型能力，还是题目、评分器或执行环境。他说自己检查过的材料质量比预期差，因此形成了较强的怀疑；同时明确表示尚未细查 Terminal-Bench，仍需要更系统的研究。
Ratner 的原帖欢迎独立审查，也不同意仅用“有缺陷”给基准下二元结论。他要求继续测量缺陷对模型运行和排行榜的影响，并指出开源基准会持续修订，不能只把维护者已标记的公开问题当作全貌。两人的分歧落在审查应该走到哪一步：发现错误是入口，错误是否改变能力比较还需要证据。
本期读取 Husain 公开原帖快照及 Ratner 父帖的公开镜像，没有拿到 Husain 所述检查的完整样本、修订前后成绩或代表性抽样方案。下面保留双方理由，不把个人审查经验扩写成全部基准失效。
可信度 65 · 重要性 83 · 新颖度 78
技术与主题
Agent 系统 · 评测与基准 · Benchmark · Grader · Execution Trace
Hamel Husain
回应原帖：Alex Ratner
回应 Alex Ratner；明确说尚未细查 Terminal-Bench。
忠实转述（非原句）：他建议评测者实际运行基准，并打开被判失败的轨迹。他在已检查的材料里反复遇到题意不清、评分器或断言有误、场景不真实以及执行框架的问题，因此怀疑一些成绩包含了对评测特殊细节的适应。但他承认还需要系统工作，也没有把这些观察当作对 Terminal-Bench 的既成审计。
Alex Ratner
Husain 所回应的父帖；邀请写作和交流，提及独立审查工作。
忠实转述（非原句）：他认可外部检查的重要性，但认为“好或坏”的标签过于简化，应通过实际模型运行判断问题的影响。他也提醒评测是持续维护的开源工作，希望批评与改进同时进行。
编辑评读
这场讨论能帮助读者区分两种决策。若一条错误评分会直接影响自己的上线验收，即使它不改变公开排名，也值得修；若要据此否定模型之间的名次，则需要知道各模型受影响的方向和幅度。缺陷数量与排行榜失真程度并非同一个指标，少量偏向性的错误可能很重要，大量共同受影响的错误也未必改变相对次序。
可检验的下一步，是固定任务和模型版本，保留原轨迹，用明确修正的题意或评分器重新判断，并分别报告绝对完成率与相对排序变化。修题若连任务难度也改变，就应另列结果，避免把“纠错”和“换题”混在一起。这个设计是编辑建议，尚未执行；它接住了 Husain 对失败细节的重视，也接住 Ratner 对影响量化的要求。对正在建立内部评测的人，最先可做的是让每个失败结论都能返回到具体输入、动作和判据。
需要留意
- 没有完整审计样本与修订前后成绩；Husain明确未细查Terminal-Bench。