值得学什么
帮助区分计算量与等待时间:低批次解码常受搬运权重的带宽限制,核验多个草稿token可利用原本闲置的计算能力。适合接着阅读DeepInfer中的草稿与核验机制。
准备
知道自回归模型逐token生成,并了解矩阵乘法与批次的基本含义即可。
动手试试
画出一次权重加载只生成一个token、与一次加载核验多个草稿的工作量;再写出高批次或低接受率时为什么未必加速。此为建议练习,未在本期执行。
阅读依据
已读10月8日原文全文,包括memory-bound/compute-bound区分、批次与草稿深度的玩具例子及动态选择推测长度。
系统与效率 · 基础模型 · Speculative Decoding · Memory Bandwidth · Batching