vLLM 10月14日的说明文章,把自适应验证扩展到没有置信头的草稿模型。在线逻辑回归从草稿分布的最大概率估计目标模型接受率,随实际接受/拒绝结果更新,再按预计收益与实测计算成本裁剪验证预算。PR在9月已合并,并非当天才落地。实验显示并发与草稿长度会改变收益;方法仍要求注意力后端支持变长验证。
持续追踪
持续追踪
vLLM 10月14日的说明文章,把自适应验证扩展到没有置信头的草稿模型。在线逻辑回归从草稿分布的最大概率估计目标模型接受率,随实际接受/拒绝结果更新,再按预计收益与实测计算成本裁剪验证预算。PR在9月已合并,并非当天才落地。实验显示并发与草稿长度会改变收益;方法仍要求注意力后端支持变长验证。