持续追踪

同一台 4B 模型的 50 次运行:失败常在编辑接口

按时间保留当时的判断和后续核查;历史收录不代表刚刚重新验证。

2026-10-22 · 当时的记录

Reddit 用户 GapNew4766 用同一个本地 Qwen3.5-4B 量化模型,测试十种 Agent 运行框架。每种框架执行五个小任务,每题一次;使用 M5 MacBook Pro(32GB 内存)、Q4_K_M 量化和 llama-server,64K 上下文设置固定,任务文件每次重置,由脚本判通过与否。因此“50 次”是十乘五的组合,既不是五十个独立任务,也不足以给框架排稳定榜单。

作者最意外的是,日志里没有找到畸形工具调用,失败却出现在工具语义与工作细节:跨三文件改函数名时,旧文本漏了一个空行,精确替换失败,模型原样重试五遍;另一次修补只照顾可见测试,隐藏字符串仍处理错误;日志计数把 43 行数成 40 行。还有答案写对但放错目录的情况。

评论者 porkminer 说自己改用按函数名与新定义替换的工具,减少逐字复述旧文本的要求;作者随即追问重名和重载,评论者承认尚未遇到,必要时应加文件或作用域信息。enternoescape 则提醒,读文件工具附加的行号有时也会干扰替换。这些意见给出了可检查的接口原因,并没有证明所有精确替换失败都来自模型能力不足。

本次记录的观点:u/GapNew4766 · u/porkminer · u/enternoescape

回到当期正文 ↗

查看依据原文 · 原始依据