ARC Prize Foundation · Results · 阅读原文
原始来源:ARC Prize Foundation · Results
ARC Prize的Gemini 4 Argon结果页将两种执行层分开:低推理档下,ARC-AGI-3的Standard为49.8%,Provider Adapter为97.5%。前者允许携带模型选择保留的笔记,后者保存跨请求的不透明推理状态并压缩长对话。但Standard受API问题影响,低档只完成55项中的42项;报告仍以55项为分母,保留未完成运行取得的部分分数。高推理Standard因覆盖不足未列入主图。
可信度 65 · 重要性 80 · 新颖度 69
技术与主题
Agent 系统 · 评测与基准 · 推理能力 · Agent Harness · Reasoning State · ARC-AGI-3
ARC Prize Foundation
评测方对同一Gemini 4 Argon结果的运行覆盖和计分说明,不是另一团队的机制复现。
忠实转述(非原句):评测方说明Standard受到API问题影响,成绩仍计入全部55项并保留不完整运行的部分得分;高推理档的Standard因为覆盖不足,未画在主图中。
编辑评读
这一页把任务里的记忆保存具体化了。Standard让模型自己决定留下哪些笔记,Provider Adapter则继续携带不透明推理状态。两者不只是包装名称不同,下一次请求能够利用的工作记录也不同。因而一个模型的分数,实际还包含执行层提供的状态延续能力。
但不能把47.7个百分点全部归因于记忆。Standard有未完成运行,报告没有把它们从分母删掉;若只摘最终成绩,便混合了推理、接口可靠性和任务完成覆盖。正确的后续实验应先补齐同一批任务的运行,再固定预算和状态策略,才能估计单一改动的贡献。
这也补充了本期关于对照的观察:保留失败之外,还要区分系统确实作错、运行中断与没有形成判断。这里有评测方公开的配置结果,却仍缺针对状态保存机制的独立配对消融。排行榜可以告诉我们哪套组合得分高,尚不能单凭这一对数字解释为什么。
需要留意
- 同模型的两种配置仍非干净的单因素消融;API失败会影响差值。
- 结果页导言与表格的ARC-AGI-2最高分有91.2/91.3差异,本期不据此引用v2结论。