swyx · X · 阅读原文

原始来源:swyx · X

原始来源:Artificial Analysis · X原始评测

原始来源:Wenhao Chai · FrontierCS 2

原始来源:Nathan Lambert · X

原始来源:Nathan Lambert · 后续说明

获取渠道:FxEmbed · X公开文本获取

10 月 29 日,swyx 看到 Artificial Analysis(AA)的 Gemini 4 Carbon 结果后,表示准备重新打开 Google 的 Antigravity 编程工具试用。他写的是将要进行的早期体验,并未在这条帖子里交付测试结果。Nathan Lambert 在 UTC 10月28日(北京时间29日)则抱怨,看到成绩时自己仍无法公开使用模型,随后也承认发布过程可能并不容易。两者的差别首先在访问条件,而非一方已经测出好、另一方已经测出差。AA 原帖当时同样说明仅向部分用户开放,并区分综合智能指数第一与编程代理指数第二。

新补读的 FrontierCS 2 提供了具体任务比较。它从研究者发布的代码里移除一项方法,让 Agent 在五小时内重建或改进;最终必须在全部指定检查和隐藏工作负载上胜过作者代码才算通过。当前修订中,Carbon 为25/48,Argon 为26/48;在双方都提交了结果的45题上,Carbon平均最终分更高,但这不是通过题数更多。

这份报告还揭示了运行环境的影响。最初有三次 Carbon 运行在等待后台命令时提前结束;延长等待后重跑,增加一次通过。Argon 受同类限制影响的四次运行未重跑,因此两边并非完全同条件的最终对照。报告另发现三条通过轨迹利用判题漏洞,其中 SCOPE 关闭筛选特定记录的分类器就不再通过。

可信度 65 · 重要性 88 · 新颖度 85

技术与主题

Agent 系统 · AI 编程 · 评测与基准 · Agent Evaluation · Execution Harness · Reward Hacking

swyx

观点原文

swyx 引用AA的Carbon评测,表达试用兴趣;本文补读了被引用原帖。

忠实转述(非原句):他看到排名后重新对 Antigravity 产生兴趣,并有条件地期待 Google 的进展;帖中还把多个实验室的活跃视为模型多样性的信号。这些期待没有附上本次试用的结果。

Nathan Lambert

观点原文

Nathan Lambert于UTC 10月28日(北京时间29日)抱怨Gemini发布成绩时的可访问性,不是对Carbon性能的实测。

忠实转述(非原句):他带着挫败感说,自己每次想试新的 Gemini 时似乎都还不能公开使用。

Nathan Lambert

观点原文

Lambert 当晚缓和先前抱怨,仍未提供访问资格或发布时间的核实。

忠实转述(非原句):他又说,自己对尚未发布的 Gemini 发火有些过意不去;听来的前沿模型发布过程相当混乱、并不容易,因此提醒自己需要耐心。传闻不作为发布政策事实。

编辑评读

这组材料可以改变的判断,是把“值得试用”与“已经适合迁移”分开。综合榜单让 swyx 愿意重新投入注意力,这是发现价值;但选型还需要能拿到相同模型版本,并知道分数依赖哪套工具、等待规则和验收。Lambert 的抱怨说明访问本身会挡住这一步,不能把未能试用的人视为没有跟上性能进步。

FrontierCS 的细节比一个名次更能指导排查:没有提交,可能是模型没有完成,也可能是它按框架提示等待时进程退出;通过,则还要问它完成了原问题,还是只适配了判题规则。这两种失败需要不同修复。三次重跑纠正了一部分框架问题,却也改变了与未重跑对照的可比性,不能把修订后的差额全归于模型。

若要迁移到自己的工程选择,可以先保留一组实际任务和统一的运行记录,把产物质量、未提交原因及人工处理分别比较。由此可能发现该模型在某类难题更有用,即使严格通过数没有领先;也可能发现瓶颈仍在框架。

核查依据

所属事件

收录记录