值得学什么
从只保留选项token的单步读出入手,展示模型置信分箱与经验正确率为何不一致,再介绍温度缩放。
准备
会Python、理解logits与softmax的读者;运行示例还需合适模型环境。
动手试试
在独立校准集拟合温度,在未参与拟合的测试集同时比较准确率、分箱误差与Brier分数,再换一组任务。不要在同一批样本拟合并宣称泛化。
阅读依据
已读正文、Qwen3-1.7B选项读出代码、CommonsenseQA结果和温度缩放分箱表;未执行网页代码。
评测与基准 · 系统与效率 · Constrained Decoding · Temperature Scaling · Calibration