原始来源:Andrej Karpathy · X
获取渠道:FxEmbed · 第三方转取
Karpathy 重提四月的讨论,认为人们体验到的 LLM 能力差距仍在扩大。他把使用者从几乎未接触、偶尔使用聊天产品,到在数学与代码中处理长任务,再到接触内部系统,描绘成一个漏斗;人数和比例是随手估算。他提出三个解释:任务的规模与时间跨度、能力在领域间的不均衡,以及可用系统的差别。原帖是对使用体验的判断,没有给出证明这种人群划分的调查。
可信度 65 · 重要性 72 · 新颖度 63
技术与主题
Agent 系统 · AI 编程 · 评测与基准 · Long-Horizon Agents · Verifiable Rewards · Capability Evaluation
Andrej Karpathy
节选原帖的论证顺序;人数为作者估算,未取得 X 官方页面。
忠实转述(非原句):他先描述从未接触、偶尔使用、专业使用到内部访问的不同体验,再解释差异:短问答不足以发挥系统能力,需要真正关心的难题;能力集中在数字化、可验证且有经济价值的领域;免费、付费与内部访问也不同。他最后强调,这些很不一样的体验正在同时发生。
usernomdeguerre
针对同一原帖的替代解释,来自 HN 评论,经 Algolia 公开树读取。
忠实转述(非原句):他希望看到可指认的成果,而非笼统描述曲线竖直上升。他提出另一种解释:LLM 当前擅长的工作可能集中在能由机器验证、或无需验证的部分,多数人并没有这样的工作。
komali2
针对原帖人口比例的质疑,不是能力复测。
忠实转述(非原句):他质疑用全球人口作分母:儿童、没有相关需要或正在解决基本生活问题的人,也被算进了“尚未接触”的比例。这种估算是否适合说明采用潜力,他觉得需要再解释。
编辑评读
把任务条件写出来,是这条观点最有用的部分。只问一个短问题与交给系统一个有明确验收的长项目,确实不是同一次测试。读者可以据此重新描述自己的失败或成功案例,而不用先争论模型总体有多聪明。
但任务更大并不自动使效果更可靠。本期反编译记录中,团队正是在扩大运行后发现验收不足;MASS 也显示研究任务与软件工程的迁移不同。HN 的 usernomdeguerre 因此给出另一种解释:差异可能首先来自工作能否由机器检查,而不只是使用者有没有接触先进系统。这是可以比较的替代假设,现有随手人数估算不足以分辨两者。