Simon Willison · X · 阅读原文

原始来源:Simon Willison · X

获取渠道:FxEmbed 公共帖子获取

Willison描述一次Rust实现SQLite扩展的尝试:约12小时前给出SPARQL需求,发帖时才接近结束;随后说工具取用了W3C测试集。他也抱怨写入、验证、修复循环很费token,仅补充README就已消耗3.4M token。这是作者的个体过程记录,帖子没有给出模型、预算和通过清单,不能据此判断哪种模型更省钱。

可信度 65 · 重要性 65 · 新颖度 66

技术与主题

AI 编程 · 系统与效率 · 评测与基准 · SPARQL · SQLite Extension · Agent Evaluation

Simon Willison

观点原文

公开回复描述作者自己的尝试;没有补猜其所用模型。

忠实转述(非原句):他表示自己12小时前发出需求,帖子发出时工作才接近结束。随后补充工具取用了W3C测试集,又抱怨反复写入、验证、修复的循环很费token。

Simon Willison

观点原文

同一尝试的后续回复;只说明取得测试集,不证明测试全部通过。

编辑评读

这段记录同时保留了积极和消极的一面:能调入既有测试集,让实现有了可检查的目标;但重复验证也可能把简单文档任务拉成长循环。3.4M是作者给出的token数量,并非费用,尚缺模型价格、缓存和其他任务消耗,不能直接换算成本。

它提示一个值得另测的工程问题:同一套写入—验证—修复策略,是否应对代码和README设置不同停止条件?这种区分要靠任务结果与运行轨迹验证,不能仅凭token多就判定工作无效,也不能因用了标准测试集就视为全部通过。

需要留意

  • 公开短帖经FxEmbed取得;未读取完整会话、仓库与测试报告。

核查依据

所属事件

收录记录