Joe Barrow · 阅读材料

值得学什么

帮助区分计算量与等待时间:低批次解码常受搬运权重的带宽限制,核验多个草稿token可利用原本闲置的计算能力。适合接着阅读DeepInfer中的草稿与核验机制。

准备

知道自回归模型逐token生成,并了解矩阵乘法与批次的基本含义即可。

动手试试

画出一次权重加载只生成一个token、与一次加载核验多个草稿的工作量;再写出高批次或低接受率时为什么未必加速。此为建议练习,未在本期执行。

阅读依据

已读10月8日原文全文,包括memory-bound/compute-bound区分、批次与草稿深度的玩具例子及动态选择推测长度。

系统与效率 · 基础模型 · Speculative Decoding · Memory Bandwidth · Batching

2026-10-21 日报