Bottlecap · ThinkingCap · 阅读原文
发现渠道：Hacker News · 公开讨论
长推理模型的成本不只来自参数量，也来自回答前生成多少思考 token。Bottlecap 的 ThinkingCap-gemma-4-26B-A4B-it 对 Gemma 4 的指令模型做微调，目标是在维持解题能力时缩短推理。它属于总参数约 260 亿、每次激活约 40 亿参数的模型；发布说明强调效率结果，但没有给出足以完整重建训练过程的配方。
作者用相同 BF16 精度、vLLM 评测环境和采样参数比较原版与微调版，并给每次回答相同的最大生成额度。十二项基准等权平均后，准确率从 75.18% 变为 75.03%，下降 0.15 个百分点；各项 token 降幅的平均值为 38.9%。这不是所有任务都少想 39%，也不是准确率完全不变：LongBench v2 的 token 减少约 69.1%、准确率增加 1.45 个百分点，AA-LCR 则下降了 4 个百分点。
另一个有意思的结果，是按作者的检测规则，重复循环比例从 3.64% 降到 0.76%，达到生成上限的比例也下降。这提示节省可能包含减少无效延长，而非单纯提前截断回答。其预算曲线显示，中间预算区间更能体现优势，足够宽松时两者趋近。不同任务使用多次采样，置信区间反映采样种子变化，不能覆盖用户任务分布变化。
本期未找到针对这个 Gemma 新版本的独立系统复测。社区里有人欢迎减少 PR 审查时的思考成本，也有人报告早先 Qwen 系列的 ThinkingCap 在自己任务上变弱；后者明确没有测试这次 Gemma，不能拿来当成新版本失败的证据。
可信度 65 · 重要性 82 · 新颖度 84
技术与主题
系统与效率 · 推理能力 · Reasoning Budget · Post-training · Evaluation Aggregation
mehdi_zare
回应原帖：查看原帖上下文
ThinkingCap 帖子中的使用需求；不是 Gemma 控制实验。
忠实转述（非原句）：他在 PR 审查中感觉主要费用来自思考过程，因此更想要同样质量下更短的推理，而不只是再高一点的基准分。这个偏好来自具体工作负担，说明效率提升可能有独立于峰值成绩的价值。
PaulKeeble
回应原帖：查看原帖上下文
评论早先 Qwen 3.8 27B 系列微调的个人体验；明确尚未测试本次 Gemma。
忠实转述（非原句）：他用过 ThinkingCap 和 Swift 的 Qwen 版本，觉得相同任务的能力有所下降。节省 token 对一些人可能值得，但他选择高推理档位正是为了更强能力。他对新 Gemma 有相似担忧，却没有声称已验证这次发布。
编辑评读
这项工作的可迁移价值，是把“多想一些”变成可以按预算选择的行为，而不把最长推理当作默认最好。相同环境下比较 token、准确率、循环和截断，比只展示吞吐速度更能解释节省从哪里来。不过，循环下降与分数近似持平并不能单独证明模型删除的全部是无用推理；不同题目可能承担了不同代价。
等权平均也隐含了用途选择。十二个基准各占相同比重，不代表一个需要长文档推理的团队也应这样加权。AA-LCR 的退步可能比总体平均下降更影响这类用户。反过来，若实际负担主要是反复审查中的长思考，减少等待本身就有价值，不必先证明它在所有指标都占优。
合理的比较可以固定量化精度和推理框架，在同一任务上画完成质量随 token 或时间预算变化的曲线，再检查退步集中在哪类输入。仅比较 tokens/s 容易把框架优化与模型思考长度混在一起。本文没有运行这些实验；社区旧版体验用于提出要检查的问题，不替代新模型的证据。