IBM 的芯片设计案例给旧成本问题增加了一个具体对照:相同的假设数量,得到的设计并不相同。[1] 因而“搜索更便宜”不能直接读成“买到了相同质量的结果”。对团队而言,先确定设计的速度和资源门槛,再比较满足门槛的费用,往往比先看价格倍数更有用。
值得保留的正面证据是,开放模型和服务系统一起降低了这次探索的推理账单。它不是靠少生成 token 得来的:文中开放配置反而使用了更多 token。这个细节修正了把便宜一律归因于“少做事”的阅读倾向。与此同时,模型配置、服务价格与缓存共同变化,现有比较并没有单独识别每项机制贡献多少。
如果目标是一个能用的紧凑设计,较便宜的方案可能已经够用;如果必须追求更低延迟,另一配置的额外收益也可能值得花钱。这不是用结果质量否定低成本,而是让低成本落在实际的选择上。作者增加开放搜索预算后的收益递减,也提醒我们,省下的钱不一定按比例变成更好的设计。多次独立搜索比一次继续扩展更好,还是更差,仍需比较。
Minions 则把费用问题移到资源取得方式:闲置 Mac 可以减少新增设备需求,却仍需要领取任务、保存输出和处理机器离线。[2] HN 的 dekhn 从自述的闲置算力经历提出尾延迟、异构兼容与管理问题。[3] 这不是对 Minions 的独立测试,但提供了原报告没有量化的核算对象。若已有资源只能在某些时段用,“能开始运行”与“能按期交付”就可能不同。
BranchOPD 的生成 token 节省又是第三种口径,教师评分、反向传播和环境恢复仍在这个数字之外。[4] 它与闲置设备和缓存路由没有共享实验,收益不能相加;并排阅读的意义是提醒我们,优化最先测到的那一段,未必是用户最后支付的那一段。
回访后的判断保留旧问题,但把比较条件补得更严格:不是只要求总预算一致,还要写清可接受结果的门槛。先预定一组任务、最低质量和截止时间,再核算成功及失败的推理、验证、综合、重试和人工成本;硬件探索同时报告延迟与面积,批任务报告最慢部分何时完成。若更便宜的方案只在放宽要求后达标,应如实呈现这个取舍。当前仍缺重复搜索和完整工作流账单,不能把三个案例合成普遍省钱结论。
另一种解释
有些任务只需达到较低而明确的验收门槛,较便宜模型或现有闲置设备已足够;追求最大指标收益可能浪费预算。
接下来观察什么
优先找同质量门槛、固定时限、多次独立运行的完整成本对照,保留低成本方案真正达标的正面结果。