一场评测争论里,批评者经常被反问:既然测试有缺陷,为什么不贡献修复,而要花时间批评?Hamel Husain 认为,这种回应把 AI 基准和开源软件过度类比了。软件使用者至少知道自己在使用一个工具;排行榜分数却常被直接用于采购、选择模型和判断进步,像评分网站或信用分一样,被当作可以立即采信的结论。
他的重点是分数的使用过程。很多读者不会检查模型的完整执行轨迹,即使有能力检查,也可能直到看到原始记录才发现测试十分脆弱。因此,修复题目和评分器还不够,还应解释这一个数字实际测到了什么、哪些推断超出了它的范围。此前 Prime Intellect 的公开评测审计提供了讨论背景,但 Hamel 的帖子本身是一项传播与责任判断,并非新增实验。
在同日的相关回复里,他区分了认真制作测试的人和过度包装、盲目采信分数的人,也保留了二者可能重合的情况。他没有把所有基准作者归为恶意一方,而是要求制作、推广和使用评测的人一起缩小理解差距。