Agent 的一次运行会留下“轨迹”:按顺序记录模型收到什么、调用了哪些工具、工具返回什么以及最后如何回答。隐性错误往往藏在这些步骤之间,接口没有报错,Agent 也说完成了,但交付物遗漏要求或解释与日志不符。Laminar 的 Signals 就是读取轨迹、调查这类问题的检查程序;flow-1 是在其中工作的专门模型,原始发布于 10 月 1 日,本次讨论线索来自 10 月 19 日的 Hacker News。
Signals 把一条轨迹当作代码仓库,把每段模型或工具调用记录当作可读取的文件。模型先看整条轨迹的概览和用户的检查要求,例如查找逻辑错误;再用搜索定位相关片段,打开完整记录补齐上下文,判断证据是否支持某个问题,最后按用户规定的结构输出 JSON。训练也使用这套搜索和读取工具,让模型学习的不只是给结论,还包括去哪里找依据。Signals 还可以按指定要求提取用户不满、交接原因等信息,并不限于报错。
原文的一份合同案例说明了它为什么需要跨步骤核对:双方约定把影片可用窗口改为 105 天,Agent 在问题清单里标记已解决,合同附表却仍写 90 天。flow-1 不只指出合同遗漏,还把它与清单中的错误完成状态联系起来。另一个代码案例里,Agent 把多项测试失败都归为已有问题,检查器发现日志只能支持其中一项的归因。原文也公开了漏检:flow-1 放过了一份缺少必需 AI 治理条款的合同修订。
厂商在 523 条涉及编程、法律、客服、CRM 等场景的困难轨迹上,用同一 Signals 程序替换不同模型比较。检测 F1 为 0.835,衡量发现错误时误报与漏报之间的平衡;它综合精确率和召回率,不是“83.5% 的任务做对了”。描述 F1 为 0.741,另看对问题的描述是否正确对应所要识别的错误,不能与有没有发现错误混为一项。文章没有展开描述匹配的完整评分细则,因此不把这个分数解释成某种具体的逐词或因果解释准确率。表中 Opus 5 两项均更高,flow-1 的定位是以较低检查费用取得有竞争力的结果。
费用表只统计总 LLM token 少于 10 万的轨迹,计入完整 Signals 调查及检索步骤:flow-1 每条约 0.0011 美元,GPT-6-sol 约 0.026 美元。这是检查轨迹的模型费用,不包括被检查 Agent 原来的运行成本。评论区关于漏跑任务、过期输入以及开发者对训练效率的回应,另按作者保留在下方。