Nathan Lambert · Interconnects · 阅读原文
原始来源：Nathan Lambert · Interconnects
发现渠道：Interconnects · Nathan Lambert
原始来源：配套原始说明
原始来源：配套原始说明
Artificial Analysis 的 v5 智能指数把知识工作、编程、科学和通用能力各设为四分之一权重，并引入更难的任务；约六成测试内容不公开。榜单变化因此既包含模型差别，也包含测量目标的改变。Lambert 借这次更新讨论评测者的困境：公开题目容易被针对性优化，保密又减少了外部发现错误与理解评分的机会。
他没有把开源模型排名下滑等同于开源路线失败。前沿科学任务与日常应用需求不同；低成本推理、拥有权重和可自行部署仍有价值。他认可商业评测追踪前沿的速度，同时关心资金、信任与透明度，倾向让不同类型机构提供互补评价。这些是他的分析与判断，不能写成已经证实榜单操纵。
时间也需要校正：v5 初始说明中的领先者已不是最后信息。Google 在 10 月 28 日公布 Gemini 4 Carbon，报告 AA v5 得分 59，并说明先向部分网络防御伙伴开放，公众产品接入尚待后续。这里用它说明榜单会快速变化，不把一个排名视为普遍可用性。AA 自身还报告评测生成 token 中位数由约 3.5 万增至 5.9 万；更高能力的比较同时带来更高运行成本。
可信度 65 · 重要性 88 · 新颖度 85
技术与主题
评测与基准 · 基础模型 · composite benchmark · evaluation cost
hobofan
回应 AA v5 新任务组成，关注测试覆盖面。
忠实转述（非原句）：他认为编程与科学等受关注领域的题量仍然有限，这可能解释榜单与实际使用感受的差异。他同时承认运行完整评测很昂贵、题目还需轮换；这是对覆盖面的质疑，不是证明某个模型排名错误。
编辑评读
综合分数的便利在于帮助人缩小选择范围，危险则是把权重设计隐藏成自然事实。若工作主要是便宜地处理大量普通请求，科学难题上的差距未必决定选择；若要连续完成长任务，过去的短问答领先也可能失去解释力。因此读新榜时，应先问自己的失败是否被新增任务覆盖。
公开和保密之间没有一次性解决方案。保密可以减轻直接针对题库训练，却仍需要公开任务构成、运行预算、工具和评分方式，让外部知道比较的对象。评论中有人把不同模型的运行外壳差异误套到 AA，随后在原帖更正；这提醒我们，针对评测的批评也要追到实际方法，不能把合理疑问升级成未经证明的动机判断。
可操作的用法是把总榜当入口，再看对应子项、成本和自己的少量代表任务。代表任务应包括真实的失败类型，而不只挑容易展示优势的例子。它不会得到一个永远有效的最佳模型，却能让换榜、换模型和换工作需求时，知道究竟是哪项前提变了。
需要留意
- 榜单权重体现用途选择；保密比例、运行预算与开放可用性必须一起读。