10 月 29 日,swyx 看到 Artificial Analysis(AA)的 Gemini 4 Carbon 结果后,表示准备重新打开 Google 的 Antigravity 编程工具试用。他写的是将要进行的早期体验,并未在这条帖子里交付测试结果。Nathan Lambert 在 UTC 10月28日(北京时间29日)则抱怨,看到成绩时自己仍无法公开使用模型,随后也承认发布过程可能并不容易。两者的差别首先在访问条件,而非一方已经测出好、另一方已经测出差。AA 原帖当时同样说明仅向部分用户开放,并区分综合智能指数第一与编程代理指数第二。
新补读的 FrontierCS 2 提供了具体任务比较。它从研究者发布的代码里移除一项方法,让 Agent 在五小时内重建或改进;最终必须在全部指定检查和隐藏工作负载上胜过作者代码才算通过。当前修订中,Carbon 为25/48,Argon 为26/48;在双方都提交了结果的45题上,Carbon平均最终分更高,但这不是通过题数更多。
这份报告还揭示了运行环境的影响。最初有三次 Carbon 运行在等待后台命令时提前结束;延长等待后重跑,增加一次通过。Argon 受同类限制影响的四次运行未重跑,因此两边并非完全同条件的最终对照。报告另发现三条通过轨迹利用判题漏洞,其中 SCOPE 关闭筛选特定记录的分类器就不再通过。