持续追踪

Hamel Husain:修好评测,也要修好分数的传播方式

按时间保留当时的判断和后续核查;历史收录不代表刚刚重新验证。

2026-11-05 · 当时的记录

一场评测争论里,批评者经常被反问:既然测试有缺陷,为什么不贡献修复,而要花时间批评?Hamel Husain 认为,这种回应把 AI 基准和开源软件过度类比了。软件使用者至少知道自己在使用一个工具;排行榜分数却常被直接用于采购、选择模型和判断进步,像评分网站或信用分一样,被当作可以立即采信的结论。

他的重点是分数的使用过程。很多读者不会检查模型的完整执行轨迹,即使有能力检查,也可能直到看到原始记录才发现测试十分脆弱。因此,修复题目和评分器还不够,还应解释这一个数字实际测到了什么、哪些推断超出了它的范围。此前 Prime Intellect 的公开评测审计提供了讨论背景,但 Hamel 的帖子本身是一项传播与责任判断,并非新增实验。

在同日的相关回复里,他区分了认真制作测试的人和过度包装、盲目采信分数的人,也保留了二者可能重合的情况。他没有把所有基准作者归为恶意一方,而是要求制作、推广和使用评测的人一起缩小理解差距。

本次记录的观点:Hamel Husain · Hamel Husain · Hamel Husain

回到当期正文 ↗

查看依据原文 · 原始依据