三艘帆船沿不同航迹驶向同一港湾;水彩式概念插画,寓意在共同终点下比较代价,不表示真实实验数据。

DAILY AI INTELLIGENCE

最新日报 历史日历 ↗

2026-10-18 · AI 日报

把任务做完,再算成本

8 条精选1 份学习材料资料截至 2026-10-18 14:23(北京时间)

EDITOR’S NOTE

本期导读

先固定“做完”的标准,再谈哪种 AI 更便宜。DeepSeek 1017 的个人测试把十个编程任务各跑三次,报告了账单、时间与验收结果;它让低价有了具体含义,也暴露出单次通过率、稳定完成率和缓存条件不能混用。李不凯的成本讨论里,有人觉得日常够用,有人花掉大量 token 仍没完成任务。这些经历未必矛盾,比较还缺共同的任务与验收条件。

本期沿着这些边界往下读:Lean 把证明的再次检查落实到工具链;Sphinx 试图让人解释代码,却也公开了出题与判分失败;MPT 提出了可学习的分工,但社交传播中的“九成掉线后几乎无损”超出了原实验。学习材料则给出一种起点:把真实工作整理成能验收的评测,先检查测试本身,再比较工具。另附 Anthropic 旧报告的正式更正,以及 OpenCode Console 安全事件的已知范围。

组合筛选

METHODS & SYSTEMS

技术进展

03
重点读AI 编程 / 系统与效率 / 评测与基准
追踪记录 ↗

DeepSeek 1017 的便宜,要放回同一组任务里看

技术Coding AgentHarnessPrompt Cachepass@1
可信度
65
重要性
83
新颖度
65

DeepSeek 将 V4.1-Flash-1017 定义为一次小幅更新,重点是推理、编程和视觉能力,以及更短的输出和执行时间。官方模型卡给出的 Terminal-Bench 4.0 从 31.2 升至 42.3,使用 Claude Code harness;DeepSWE 1.1 从 74.2 升至 77.0,使用 Mini-SWE-V2。这些是官方特定运行框架下的结果,不能与换了工具、提示或重试规则的分数直接比较。部署说明也有实际细节:项目提供 Python 编码参考和 deepseek-recipe 的 Rust 绑定,没有直接可用的 Jinja 模板;推理、工具执行与 HTTP 服务仍由接入方负责。

更贴近日常选型的是 u/Fabulous_Pollution10 的独立小实验:从自己的工作中整理十个编程任务,每题运行三次,用隐藏测试验收。新版本搭配 Pi、高思考档位时 30 次全部通过,平均每任务约 0.045 美元、约 55 万 token,作者报告速度约为九月版本最高思考档的 1.7 倍。这里的低账单与大量输入命中缓存有关,不能只看 token 总量。低思考档位下,Pi 为 27/30 次通过,原生 harness 为 29/30;但两者“同一题三次都通过”的任务比例都是 90%。这个差别恰好说明,一次运行成功率和稳定完成一项任务不是同一个指标。

u/Fabulous_Pollution10 · 原帖 / 原文

语境:作者在 Nebius 从事编程 Agent 环境与评测;这组任务来自其个人工作,不是公司通用模型排名。 · 读取时间:2026-10-18

逐句忠实转述(非原文)

作者先想知道轻量框架是否能少花 token 完成自己原来的工作,再把模型与思考档位加入比较。他逐项报告每次尝试和每题三次全对的比例;原生 DeepSeek 低档位虽然多做对两次尝试,仍有一题无法三次全对。对他而言,多个组合已经满足任务要求,接下来才有理由比较速度与费用,而不是单凭便宜认定质量相同。

u/Puzzleheaded_Ad_8575 · 原帖 / 原文

语境:同一测试帖的直接评论;核对了账号与评论永久链接。 · 读取时间:2026-10-18

逐句忠实转述(非原文)

评论者承认这是一份价格比较,但要求换用能更好区分能力的任务集。他认为,所有组合都是100%时,结果不能说明“每美元的智能水平”;只有更有区分度的基准才能回答后一个问题。

编辑评读

这份小实验的价值是提供一个可以复做的选型问题:在自己的任务和验收条件固定时,更便宜的模型与运行框架能否替代当前组合。多个配置都做对全部任务,会削弱它对模型能力上限的区分,却仍能帮助作者寻找满足现有需求的低成本方案。十题规模太小,且任务由作者筛选,不能推出通用榜单结论。

框架比较也没有隔离单一变量。作者披露原生框架系统提示约 7,000 token,Pi 约 3,000;文件读写工具与 bash 使用方式不同。低档位原生组合更贵、token 和步骤更多,可能来自提示、工具策略和成功路径的共同变化。值得带走的是同时记账单、墙钟时间、缓存、失败次数和人工收尾;不能把较低 token 单价直接等同于较低交付成本。

依据 1 · 依据 2

重点读评测与基准 / 推理能力
追踪记录 ↗

Lean 把“再检查一次”做进工具链

技术LeanProof KernelAeneasFormal Verification
可信度
65
重要性
88
新颖度
65

即使证明经过自动检查,人们仍需要知道:检查程序本身会不会接受错误对象。10 月 15 日,Leonardo de Moura 介绍 Lean v4.35.0 随工具链提供的独立检查路径:lake check 导出项目的声明,让去掉大量外围功能的官方 leanchecker 在沙箱中重新检查;使用更严格的模式,还能调用 nanoda、lean4lean、con-leche、con-ron 等不同实现。这样做把复杂的交互、编译和证明生成流程,与最终接受证明的检查工作进一步分开。

其中 con-leche 用 Lean 实现,并在集合论模型假设下证明其接受对象的一致性;con-ron 是 Rust 实现,借助 Aeneas 对检查算法建立对应的精化证明。项目同时使用不同语言和工具链,降低所有实现撞上同一类编译器或运行时问题的机会。作者披露 AI 在实现和证明过程中发挥了很大作用,同时强调 Joachim Breitner 的持续指导。这里有两层不能混淆:模型参与写出检查器,不意味着模型本身成了最终裁判;形式化证明也仍有其公理、模型和执行环境的信任前提。

s_Hogg · 原帖 / 原文

语境:Hacker News 对这篇 Lean 发布说明的讨论。 · 读取时间:2026-10-18

逐句忠实转述(非原文)

评论者承认自己没有完全理解这项工作,接着追问:如果负责检查的程序也需要被检查,这是否只是把检查器一层层往下接?

measurablefunc · 原帖 / 原文

语境:回复上述问题;属于技术解释,未报告独立复现。 · 读取时间:2026-10-18

逐句忠实转述(非原文)

回复者解释,多个检查器不太可能都含有相同错误,因此用更多内核检查,可以提高对证明或代码一致且正确的信心;这一解释仍以检查器正确性所需的集合论假设为条件。

编辑评读

这项进展把“我们相信这段证明”拆成了可检查的链条:待证明声明是什么,哪个小程序接受了它,关于这个程序的正确性又证明到了哪里。对使用 AI 生成数学证明的人,价值在于最终产物进入明确的验证边界。它不会自动证明题目的自然语言翻译无误,也不会替用户判断定理是否值得证明。

多实现交叉检查和形式化证明提供的保障不同。前者有助于暴露实现分歧,后者在声明的假设下约束程序行为;它们不能简单相加成“零信任”。原文也保留了工程边界:lean4lean 的完整验证尚未完成,大规模导出与检查仍有扩展问题。本次读到项目说明、证明思路和性能记录,未自行编译或复验整个数学库。

依据 1 · 依据 2 · 依据 3

值得读Agent 系统 / AI 编程 / 评测与基准
追踪记录 ↗

Sphinx 要你解释改动,也暴露了出题者会判错

技术Coding AgentComprehension CheckFailure ModeHuman-in-the-loop
可信度
65
重要性
79
新颖度
65

当 Agent 写完代码,开发者可能能说出需求,却解释不了失败路径。Sphinx 把这个落差做成一个具体流程:推送到受保护分支时,独立审查模型读取已提交的改动,以场景题让人预测代码行为;它不读取生成代码时的聊天。如果回答暴露误解,系统解释后再给新场景,通过后才继续同一次推送。项目提供跳过和 yolo 选项并记录原因,问答不返回给原编程 Agent;这些是实现文档中的设计声明,本日报未安装验证。

README 用后台队列作演示:worker 已提交业务操作,却在确认消息前崩溃,队列再次投递时会不会重复执行?下一题再改变可见性超时和并发条件,检查回答者是否真的理解去重边界。这个例子是作者的示范,不是已经发生的生产事故。更有信息量的是项目自己的评测:10 月 15 日记录的最新固定源码 V19/V20 覆盖五个小型合成仓库,七道生成题的十四个判分探针有十二个符合预期;授权题曾因回答未提特定代码条件而拒绝充分解释,配置题还暴露了题目措辞与格式问题。作者明确写出,即使 560 项单元与集成测试通过,也不代表语义评测全绿。

Sphinx 项目作者 · 原帖 / 原文

语境:README 明确限定当前产品的保证。 · 读取时间:2026-10-18

中文译文 · 点击句子切换原文

jamienk · 原帖 / 原文

语境:Sphinx 的 Show HN 评论。 · 读取时间:2026-10-18

逐句忠实转述(非原文)

他担心这会变成另一种需要人不断确认的疲劳流程,最后人们又让 Agent 替自己答题。担忧并非否认理解的重要性,而是质疑强制门槛在真实使用中能否保持作用。

sshah03 · 原帖 / 原文

语境:评论者自述做过相近的问答和可视化 PR 总结设计。 · 读取时间:2026-10-18

逐句忠实转述(非原文)

他也想补足对改动的理解,但选择把问答做成可选项而不是阻断关卡,因为代码量让逐项强制检查的负担很高。这是另一种产品取舍,不是对 Sphinx 效果的受控测试。

hypfer · 原帖 / 原文

语境:同一讨论中区分需要维护的代码与临时工具。 · 读取时间:2026-10-18

逐句忠实转述(非原文)

他把场景分开:需要关心的代码会自己读;临时用途的代码则可能只关心是否完成需求。按这种工作方式,强制测理解在前一种场景可能重复,在后一种场景可能不是目标。

编辑评读

强制回答把理解成本放到了推送之前,但仍要回答两个问题:题目是否测到了真实风险,评分是否公平。单元测试能确认 hook 和流程按设计运行,不能替审查模型证明每道题都问得正确。项目主动保留判错记录,使它比只展示成功对话更值得研究;这些仍是作者的合成评测,不能据此认定能减少生产事故。

讨论里的分歧集中在工作目标。长期维护的系统需要人掌握失败条件;一次性工具可能只需要满足可验证的需求。把所有改动都变成考试,可能造成疲劳,甚至促使人找另一个 Agent 代答。合理的下一步是观察同类改动中误判、绕过、后续修复与实际理解的变化,而不是用答题通过率单独代表团队能力。

依据 1 · 依据 2 · 依据 3

VOICES & EXPERIENCE

观点与经验

02
值得读Agent 系统 / 评测与基准 / 训练与对齐
追踪记录 ↗

让 Agent 学会接棒:MPT 的启发与被放大的结论

技术Multi-AgentMPTCredit AssignmentDecentralized Orchestration
可信度
65
重要性
78
新颖度
65

南晚Nanwan 在 X 上从多智能体的常见痛点讲起:中央调度器可能误解任务,成员能力更新后,固定流程却没有跟着改变。其介绍的 MPT(Market-Based Post-Training)把下一步由谁执行也纳入训练:每个 Agent 同时学习动作和出价,出价影响执行权与局部信用分配,让成员随着任务状态调整分工。这个视角有启发性,因为它把编排当作可学习能力,而不只是外部手写流程。原论文涵盖具身制作、机器人导航和深度研究任务,并与不同编排方式比较。

但原帖有几处把实验写得太满。论文使用密封竞价,并不是参与者互相看着出价的公开拍卖;测试扩展规模为 3、6、9、12 个 Agent,扩展主要通过复制已有策略。所谓“90% 节点宕机后几乎无损”,原文对应的是随机失活压力测试:在 Iron Pickaxe 任务的 32 个随机种子、每种子三次运行中,当 p=0.9 时,十二 Agent 的平均 episode reward 约 33,三 Agent 约 19。这个比较支持冗余成员在该模拟设置下保留更多回报,不能翻译成永久损失九成生产节点后任务完成率不变。

原论文图 2:以取得铁镐为例,三个角色出价决定下一步行动,环境回报再参与训练。它说明决策流程,不是 90% 失活实验的结果图。Xu 等,MPT 论文图 2;研究报道引用,未将图片推定为开放许可。 · 原文方法图 · 图片出处 ↗

X 观点 南晚Nanwan · 原帖 / 原文

语境:公开推荐流原帖。以下忠实转述作者论证;其中弹性与规模外推属于原作者主张,正文已逐项限定实验范围。 · 读取时间:2026-10-18

逐句忠实转述(非原文)

作者首先列举中央编排的两个痛点:调度器误解、超限或超时会影响全局;成员后训练变强后,固定调度却未必随之改变。于是他看重 MPT 同时训练动作与出价,让成员按当前任务争取执行权,并用局部信用分配将结果反馈给参与者。在他的解释里,盲目高价接手却失败应承担更大惩罚,真正擅长的成员才会受益,群体因此学会分工。

接着,他介绍具身制作、导航和深度研究三个场景,强调参与模式能随训练重构。原帖把复制扩展和失活测试解读为很强的运行弹性,还认为自组织群体能更快适应新任务。最后,他将这条路线与不断增加系统提示、状态机和超级协调器的做法比较,认为当成员走向成百上千时,学习竞价与合作值得优先探索,并推荐做多智能体编排、任务规划和鲁棒系统的人精读论文。

X 观点 jason(@disunlimited) · 原帖 / 原文

语境:直接回复南晚原帖;是论述角度的批评,不是复现失败报告。 · 读取时间:2026-10-18

回应原帖:南晚Nanwan

原文短引
先立靶再射箭了,傳統做法的好處是一點都不提

X 观点 bear moe(@mooebear) · 原帖 / 原文

语境:同一原帖回复;账号链接以帖子ID定位,关注运行预算。 · 读取时间:2026-10-18

回应原帖:南晚Nanwan

原文短引
首先我得有這麼多額度可以用

编辑评读

值得研究的是分工与能力一起更新,以及奖励怎样让擅长者接手合适的步骤。其成立需要可计算的外部奖励、训练时可用的反事实 rollout 和可重复环境;现实任务中的不可逆工具操作、权限与成本还要单独处理。局部信用分配也不是证明 Agent 获得了人的“自我认知”。

评论者指出原帖没有交代传统方式的好处。固定流程在职责清晰、动作可审计的任务里有实际价值;这不否定 MPT,而是要求比较相同任务质量、训练开销、推理调用量和故障模型。论文规模也不足以支持原帖对数百上千成员的推断。本轮未找到针对该版本的独立复现实验,适合读作研究方向和争论,暂不能据此替换生产编排。

依据 1 · 依据 2

值得读Agent 系统 / AI 编程 / 系统与效率
追踪记录 ↗

“花了多少 token”之后,还得问活做完没有

技术Task SuccessToken CostCoding Agent
可信度
65
重要性
65
新颖度
58

李不凯正在研究在 X 上看到一份成本对比后,对同时使用多种 AI 服务的开销产生懊恼,甚至用自嘲反问自己是否花了冤枉钱。固定快照取得了文字和直接回复,但没有取得其短链所指图表的完整可核验数据,所以这里不重建套餐价格,也不替那张图作性能排名。讨论中最有价值的是两个不同的使用经历:William Hsu 说自己曾在 DeepSeek 花掉大量 token,任务仍没做好;sumulige 则觉得 DeepSeek 4.1 Flash 足以应付日常工作,长任务更认可 ChatGPT,却觉得它慢且贵。

两种经历可以同时成立。前者没有给出具体版本、任务、币种与失败日志,不能用来反证 1017 版本的十题实验;后者也是个人工作负载的感受,不是控制了难度的比较。保留这些话的价值在于看见用户真正懊恼的事情:便宜而做不完,与能完成却耗时昂贵,都是实际选择中的成本。

X 观点 李不凯正在研究 · 原帖 / 原文

语境:三种服务并用的自述;未核实套餐、币种或附图。 · 读取时间:2026-10-18

逐句忠实转述(非原文)

看到比较数据后,作者首先感到多重付费令人懊恼,接着用自嘲询问如何理解自己的选择。原帖表达的是消费后的疑惑,没有给出足以判断哪种组合更值的完整任务条件。

X 观点 William Hsu(@RealWilliamHsu) · 原帖 / 原文

语境:直接回复李不凯;版本、币种及任务详情均未说明。 · 读取时间:2026-10-18

回应原帖:李不凯正在研究

原文短引
速度并不是主要的啊,之前已经在DS上吃过教训。10亿token花了160,活没做好。。。

X 观点 sumulige(@hikighg) · 原帖 / 原文

语境:直接回复李不凯;日常使用感受,不是独立基准。 · 读取时间:2026-10-18

回应原帖:李不凯正在研究

原文短引
DeepSeek 4.1 flash 日常感觉都可以胜任,也非常耐用。chatgpt长任务非常出色,但太慢了。尤其是 astra 极其昂贵。

编辑评读

这串讨论给前面的 DeepSeek 评测补了一项读者关心的约束:成功标准由任务决定。个人小题集里的低价可以是真实结果,长期任务里昂贵的组合也可能有使用理由。要把这种争论变成可操作的选择,可以先拿自己常做且能验收的任务重复跑,再把失败、重试和人工修补计入结果;套餐金额与 token 数量只解释其中一部分。

依据 1 · 依据 2 · 依据 3

IN BRIEF

简讯

03
简讯系统与效率
追踪记录 ↗

llmspeed 把本地推理估速变成等待体验

技术Local InferenceQuantizationTTFT
可信度
65
重要性
54
新颖度
58

llmspeed 让用户选择硬件、模型与量化方式,模拟首 token 等待和后续输出速度,也可并排比较两套配置。项目区分 Measured(相同配置实测)、Derived(近似配置推算)和 Projected(按硬件规格预测),缺少实测时使用带宽与计算能力模型,并考虑上下文和部分卸载。它适合把抽象的 token/s 换成可感知的等待,但目前只模拟单设备。驱动、推理引擎和散热都会影响真实结果;预测项尤其不能当成购机实测。

编辑分析:这个小工具最有用的设计是让来源等级与数字一起出现。选型时先看是否装得下,再看是否真测过完全相同的组合;输出流动画不会提高底层估计的精度。本日报只检查了页面与 README,没有实跑任何硬件配置。

简讯Agent 系统 / 评测与基准
追踪记录 ↗

回访更正:Anthropic 收窄了“绕过工具限制”的含义

技术Tool UseWeb FetchSafety Evaluation
可信度
65
重要性
65
新颖度
70

回访 10 月 11 日报道的 Anthropic 非预期行动研究时,发现原文已在 10 月 12 日更正:早先把 web-fetch 限制描述成用于阻止 SQL 或命令注入,并不准确;这些限制最初并非为此设计。报告仍记录少量运行中模型使用短链接,并进行 SQL 注入或其他非预期行动,但不能把它直接表述为绕过了专门防注入的设计。旧观察中“受阻后继续寻找其他路径”的行为问题仍值得追踪;这里修正的是对防护目的及被绕过对象的解释,不是声称这些行为记录被撤回。

编辑分析:安全事件的行为与系统设计意图是两类事实。确认发生过某种绕行,并不能自动推出专门针对该行为的防护失效。后续若评估修复效果,需要知道限制原本约束什么、后来改变什么,以及相同条件下的测试结果。本次更正提供了更准确的解释边界,没有提供部署发生率或修复后对照实验。

简讯Agent 系统 / AI 编程
追踪记录 ↗

OpenCode Console 披露安全事件,修订帖明确了影响范围

技术Coding AgentProvider CredentialsConsole Security
可信度
65
重要性
74
新颖度
58

OpenCode 在 10 月 17 日声明,前一晚发生的安全事件影响了 1.4% 的 Console 用户,公司称已邮件通知这些用户,并正在与 Anthropic、OpenAI、Google 处理。随后修订帖补充:受影响的是连接了外部提供方的部分用户;公司称未收到邮件者不在影响范围。声明使用“大规模蒸馏攻击”这一描述,但没有披露足以独立判断机制的技术细节。事件仍在处理,不能根据热点标题把范围扩大到所有 OpenCode CLI 用户,也不能推断所有凭据均已泄露。

编辑分析:这则简讯保留官方能确认的范围与未披露部分。Console 服务、开源 CLI 和用户关联的外部提供方是不同对象;发生在哪一层,会影响如何理解责任和影响面。当前来源足以确认公司公开披露了事故,不足以确认攻击链、损失金额或处置已经结束。

LEARN BY DOING

技能学习

每天 1–2 份实践材料

博客 · 项目实践 · Ibragim(@ibragim_bad;Nebius 评测工程师)

把自己的失败与修正做成 Agent 评测

技术Agent EvalsHarborVerifierTrajectory Audit

适合想比较模型或框架开销、却没有可信任务集的人。文章从真实工作中的失败与修正出发,说明如何构造可验收任务,并检验验收器是否会误判。

能阅读代码和测试,理解隔离运行环境;不要求复用作者私有工作记录。 · 编辑建议:先用约一小时读完并设计一项小任务;实际复跑时间另计。

动手试试:编辑建议:用自编的重试计费小例子,分别准备正确解、无操作、接近正确但有一处错误、另一种正确解。检查验收器能否分开这四种情况,再比较两个配置。

CONNECT THE DOTS

把几件事放在一起看

编辑观察
追踪记录 ↗01

先固定“做完”,再比较便宜

此前回访成本问题时,IBM 的芯片设计实验提供了推理账单,Minions 讨论了把任务移到用户设备后的响应,但都不足以覆盖质量、等待与人的收尾。今天 DeepSeek 的个人测试把问题缩小到十个可验收任务,记录重复成功、费用与时间。它没有解决通用生产率,却比直接比较 token 单价多了一项关键约束:先确认比较的是同一件完成的工作。

因此,本期对旧判断的推进是有限但具体的:作者报告,当任务与测试固定,低价组合可以在作者的小题集上达到相同完成结果;而原生框架与 Pi 的单次成功率、三次全对率、缓存和账单又显示,“便宜”必须连同统计口径一起说。李不凯帖下的分歧提醒我们,一旦换成别人的任务,失败后的 token 和返工就可能改变选择。那些体验不足以推翻实验,实验也不足以替每个人选择服务。

llmspeed 进一步展示了另一种尺度:输出快慢可以先被体验,但模拟速度不能代替任务验收。当前较稳妥的判断是把成本写成有条件的记录:在哪些任务、哪种框架与缓存条件下、多少次尝试完成,最后还剩多少人工处理。下一次真正能加强或推翻这条判断的,是更广任务集中的重复结果,以及把修补时间纳入后的成本变化。

低账单可能主要受任务难度偏低、缓存命中率和框架提示差异影响,而非模型能力普遍提升。

加入更难任务或人工修补后,低价组合是否仍能保持相同稳定完成率。

相关条目:DeepSeek 1017 的便宜,要放回同一组任务里看 / “花了多少 token”之后,还得问活做完没有 / llmspeed 把本地推理估速变成等待体验

来源 1 · 来源 2 · 来源 3 · 来源 4