值得读 Agent 系统 / 评测与基准 / 训练与对齐
追踪记录 ↗
Guanting Dong 等 · ToolSpace 研究进展 2026-11-04
技术 Tool Graph Stateful Environment Trajectory Replay
训练跨服务 Agent,需要的不只是很多工具说明。前一步返回的编号可能是后一步的输入,写操作会改变之后查询的结果,失败后还要换一种调用方式。若只让模型凭空编任务,工具可以各自运行,整条工作流却未必成立。ToolSpace 从二十多万条调用轨迹出发,恢复这些关系,再据此构造训练环境;数据既包括通过 MCP(模型上下文协议)的实际工具调用,也包括公开轨迹与符合接口定义的合成材料。
它先把调用归成工具模式,连接三类依赖:返回值进入下一步参数的数据关系、同一对象被修改的状态关系,以及报错后改用另一调用的重试关系。频次与类型约束用来减少碰巧出现相同常量造成的误连。随后把依赖图的一部分变成可执行环境:会修改数据的工具接入状态存储,纯查询工具可复用缓存返回值。这里的“环境”因而并不全是真实在线服务。
生成任务时,系统沿图尝试一条工作流,检查参数和当前状态,失败就回滚、重新选路;走通后再反推用户目标,并去掉工具名称和调用顺序,让受训模型自己寻找办法。最后从初始状态回放,检查中间步骤、输出及最终状态。作者构建了804个环境,得到34376条监督微调样本;强化学习部分另筛选较难的任务。
在作者报告的七个评测平均分上,Qwen3.6-35B-A3B 从23.0升到监督微调后的41.0,再到强化学习后的43.2。这是七项指标的平均,并非所有现实任务的成功率。工作来自 HF Daily Papers 策展,论文和项目公开了构造流程;结果仍是作者实验,缓存工具上的回放也不能证明部署时能应对网络失败或服务变更。
查看大图 ↗ 图片暂不可用,请查看来源。
ToolSpace 图2。上半部从轨迹恢复依赖并建立环境,下半部先执行、后反推任务,再回放检查。图中的缓存响应分支意味着“可回放”不等同于全部服务在线运行。Guanting Dong 等,ToolSpace,图2;为解释与评议该方法而引用单幅原图,保留来源与作者,不主张开放许可。 · 原文图表 · 图片出处 ↗ 编辑评读
这里可借鉴的做法,是把“能组成什么工作流”变成数据构造的依据。随机堆工具常会得到一个工具箱,却没有足够的上下文让任务可解;直接抄现成轨迹又容易只教会固定顺序。ToolSpace 先找实际出现过的依赖,再换路径、反推目标,尝试在可执行性与组合变化之间取得平衡。工程团队即使不复现整套训练,也可以用这个思路检查自己的任务库:缺的是单个工具能力,还是跨步骤传递数据的样本。
但图上的连接是否充分,取决于输入轨迹覆盖过哪些行为。很少发生却代价高昂的权限错误、数据冲突,未必会成为高频边;用缓存模拟查询也会固定住原本会变化的外部世界。因此,训练分数上涨首先支持这套环境对所测任务有用,不能直接推出它覆盖了生产环境的难点。
论文表3已做组件消融:移除状态边、数据边,或把真实执行中发现的边换成模型判断的边,五项评测都下降。例如银行任务移除状态边后,从34.0降到21.5。这给“依赖结构有用”提供了作者内部的对照证据,不能只把全部增益归于样本变多。仍待确认的是,优势能否延续到未见组合、动态查询结果和真实服务失败;本期没有执行这些检验。这个区分决定团队是可以直接复用已有轨迹构造,还是还需要为生产环境补一层变化与故障。
依据 1
值得读 AI 编程 / 基础模型 / 训练与对齐
追踪记录 ↗
Ricursive · Ripple-65B Preview 模型动态 2026-11-04
技术 Dense Transformer Scaling Experiments Agentic Coding
Ricursive 发布了650亿参数的稠密模型 Ripple-65B Preview,提供基础模型和指令模型权重。稠密模型每步使用全部主体参数,与只激活部分专家的混合专家模型不同。团队选择它,部分是为了减少路由等系统复杂度,把研发资源集中到数据、架构和后训练。预训练用了12万亿 token,以英语和代码为主;最终模型支持百万 token 上下文,但初始预训练的上下文长度是8千。
这份说明最有用的部分,是如何做规模逐级放大的试验。团队以 OLMo 3 为起点,先在小模型上比较,再到40亿参数检查收益能否保留:一种双重归一化安排在小规模上作用不明显,到40亿时有帮助;另一项结构改动在小试验中有益,放大后没有延续,于是没有进入最终方案。最终网络采用80层、较窄的隐藏维度,并增加局部滑动窗口注意力来控制成本;局部注意力只看附近一段 token,不能把它理解为每层都完整读取百万上下文。
后训练又组合了奖励处理、长输出惩罚和逐步加难的任务课程。作者给出的 Terminal-Bench 2.1 得分为80.52,并将其称作美国开放权重模型中的领先结果。模型卡同时说明,模型、推理强度与运行框架的条件会影响比较;这不是所有编程场景的统一排名。
团队披露总研发成本3200万美元,包含试验、调试、合成数据以及最终预训练和后训练。它不是只跑最后一次训练的账单;宣传中“约为此前模型十分之一”的对照还依赖对其他团队成本的估计。本期保留这个口径,重点阅读可追溯的试验取舍,不把估算成本当成已完成的同条件效率测量。
语境:转引 Ripple 发布说明;认可开放模型团队的成果,没有给出自己的模型测试。 · 读取时间:2026-11-05T00:17:45.380060+00:00
逐句忠实转述(非原文) swyx 对这次开放模型发布很兴奋,特别摘出3200万美元,并保留脚注强调它包含从零开始的完整研发。他把这当成团队能力的亮点;这条帖没有提供另一份成本测算或性能实验。
语境:HN 对 Ripple 发布标题的评论;讨论 SOTA 的类别限定,不是跑分复现。 · 读取时间:2026-11-05T00:17:45.380060+00:00
逐句忠实转述(非原文) advael 认为,把范围不断缩到某个国家、开放权重和某项任务,会削弱“最先进”这个标签通常传达的意义。他随后澄清,具体任务内当然可以严谨地定义最好结果,问题在于这类窄胜出是否值得用来概括整款模型。
语境:回应同一标题争议,讨论模型来源这一选择条件。 · 读取时间:2026-11-05T00:17:45.380060+00:00
逐句忠实转述(非原文) Routine8502 认为来源国家是一个离散而实际的筛选维度,读者可能确实在意它。因此,限定类别本身不必被视为没有意义;这与 advael 关心的能力宣传范围并不是同一个问题。
编辑评读
Ripple 给研究团队的启发,在于小试验承担的是排除与筛选功能。一个改动在小模型上赢了,并不保证在最终规模上赢;反过来,小规模无明显收益,也不一定值得立即淘汰。说明中保留了这两种情况,让读者能看到为何需要中间规模,而不是只拿最后的架构反向讲一个必然成功的故事。
这也改变了怎样理解研发成本。若目标是决定另一支团队能否照着做,单次训练耗费只能回答一部分问题:找到可用配方之前试错多少次,是否有已有数据和评测设施,都会改变总成本。Ricursive 把调试和失败探索计入3200万美元,比只报最终训练更有信息;不过对手若没有相同口径的账单,比例仍只是估计。
HN 上对“美国开放权重 SOTA”措辞的争论不应掩盖模型的工程内容,但提醒读者把两种选择分开。只要某项能力满足需求,开放权重和部署位置就可能成为有用条件;若想判断编程能力是否整体更强,仍须看同任务、同运行框架下的表现。模型卡中改变框架后分数会变,这已经足以说明榜首称号不能替代一次针对自己工作负载的试用。
依据 1 · 依据 2 · 依据 3
值得读 Agent 系统 / AI 编程 / 检索与知识
追踪记录 ↗
Simon Willison · Datasette Apps 0.3a0 工具与产品 2026-11-04
技术 Sandboxed Iframe Scoped Queries Stored Queries
Datasette 用来浏览和查询结构化数据。它的 Apps 插件让用户把 HTML、JavaScript 小应用放在同一系统内,例如为一份数据库做专用界面,再让 Agent 帮忙修改。困难是:生成页面能够运行,不代表它就该拿到整个站点的数据与写权限。0.3a0 的更新把应用编辑、查询和聊天里的引用连接得更完整。
仓库说明,HTML 应用运行在隔离的 iframe 中——它像页面内一个受限制的小窗口。默认不能随意向外联网,外部地址需要明确允许。应用需要查询数据时,通过消息桥把请求交给父页面,再送到应用专属的查询端点;请求同时受当前用户原有权限和该应用允许范围约束。预先保存的查询还可以承载明确的动作,而不是给每个生成页面一把任意操作数据库的钥匙。
这一版本在聊天中加入应用标签补全,只显示当前用户可见的应用;Agent 可以创建应用、添加或移除已保存查询。创建时检查查询是否存在及用户能否查看,授予应用可调用写查询的权限仍需要用户批准。把应用加入聊天时传递的是标识、链接和编辑权限,完整 HTML 不会随标签自动送入上下文;读取源码还有相应的权限要求。每次编辑保留版本,方便查看改动。
这些是插件和版本说明中可以核对的实现安排,还不是对所有攻击情境的安全证明。仓库另有权限更大的 Python 插件应用,不能把 HTML 应用的隔离承诺推广到所有应用类型。对开发者来说,这个例子的价值是把“展示一个界面”和“授予它一项操作能力”分别设计,再在需要协作时显式连接。
编辑评读
常见的做法是让 Agent 先获得数据库访问权,再靠提示要求它只查某些表。Datasette Apps 把另一部分约束放进应用接口:用户、应用、具体查询各有可说明的范围。这样做的收益不是让模型多记住一条规则,而是把不属于这个小应用的操作,从它通常能请求的范围里移出去。
同时,约束不能只剩禁止。应用标签提供可发现的入口,工具返回可用链接,保存查询给出明确动作,版本记录留下编辑结果。这些安排让用户可以继续让 Agent 做事,而不必在“全部授权”与“每步手动执行”之间选一边。这里有一种可迁移的产品方法:先辨认用户真正需要授出的能力单位,再把它做成可见、可撤回、能说明后果的操作。
仍需留意的是,范围清楚不自动等于操作正确。即便一次写入完全合法,也可能填错行、误解用户意图。下一层验证应面向具体任务的结果和回退方式,而不是把查询端点的权限检查当成全部质量保证。学习卡给出一个使用自建小数据库的练习,用来理解这个分工;本期没有运行插件或做安全测试。
依据 1 · 依据 2 · 依据 3