持续追踪

Laminar flow-1:沿轨迹追查隐性错误,也暴露“没有轨迹”的盲点

按时间保留当时的判断和后续核查;历史收录不代表刚刚重新验证。

2026-10-20 · 当时的记录

Agent 的一次运行会留下“轨迹”:按顺序记录模型收到什么、调用了哪些工具、工具返回什么以及最后如何回答。隐性错误往往藏在这些步骤之间,接口没有报错,Agent 也说完成了,但交付物遗漏要求或解释与日志不符。Laminar 的 Signals 就是读取轨迹、调查这类问题的检查程序;flow-1 是在其中工作的专门模型,原始发布于 10 月 1 日,本次讨论线索来自 10 月 19 日的 Hacker News。

Signals 把一条轨迹当作代码仓库,把每段模型或工具调用记录当作可读取的文件。模型先看整条轨迹的概览和用户的检查要求,例如查找逻辑错误;再用搜索定位相关片段,打开完整记录补齐上下文,判断证据是否支持某个问题,最后按用户规定的结构输出 JSON。训练也使用这套搜索和读取工具,让模型学习的不只是给结论,还包括去哪里找依据。Signals 还可以按指定要求提取用户不满、交接原因等信息,并不限于报错。

原文的一份合同案例说明了它为什么需要跨步骤核对:双方约定把影片可用窗口改为 105 天,Agent 在问题清单里标记已解决,合同附表却仍写 90 天。flow-1 不只指出合同遗漏,还把它与清单中的错误完成状态联系起来。另一个代码案例里,Agent 把多项测试失败都归为已有问题,检查器发现日志只能支持其中一项的归因。原文也公开了漏检:flow-1 放过了一份缺少必需 AI 治理条款的合同修订。

厂商在 523 条涉及编程、法律、客服、CRM 等场景的困难轨迹上,用同一 Signals 程序替换不同模型比较。检测 F1 为 0.835,衡量发现错误时误报与漏报之间的平衡;它综合精确率和召回率,不是“83.5% 的任务做对了”。描述 F1 为 0.741,另看对问题的描述是否正确对应所要识别的错误,不能与有没有发现错误混为一项。文章没有展开描述匹配的完整评分细则,因此不把这个分数解释成某种具体的逐词或因果解释准确率。表中 Opus 5 两项均更高,flow-1 的定位是以较低检查费用取得有竞争力的结果。

费用表只统计总 LLM token 少于 10 万的轨迹,计入完整 Signals 调查及检索步骤:flow-1 每条约 0.0011 美元,GPT-6-sol 约 0.026 美元。这是检查轨迹的模型费用,不包括被检查 Agent 原来的运行成本。评论区关于漏跑任务、过期输入以及开发者对训练效率的回应,另按作者保留在下方。

本次记录的观点:sebastienburel · nucleus777 · skull8888888(Robert Kim)

回到当期正文 ↗

查看依据原文 · 原始依据

2026-10-20 · 当时的记录

flow-1 的原始发布在 10 月 1 日,本次新增的是 10 月 19 日的 HN 讨论。它在 Signals 检查流程中把每次模型或工具调用当作可检索文件,先看压缩概览,再搜索和读取有关片段,输出结构化错误说明。厂商在 523 条困难轨迹上报告检测 F1 为 0.835、描述 F1 为 0.741,质量并非所有比较项最高。成本表限于总 LLM token 少于 10 万的轨迹,计入该检查流程的检索步骤:每条约 0.0011 美元,不能视为整套 Agent 的运行成本。

本次记录的观点:sebastienburel · nucleus777 · skull8888888(Robert Kim)

回到当期正文 ↗

查看依据原文 · 原始依据