持续追踪

用完整会话评价缓存与排队,而不只看解码速度

按时间保留当时的判断和后续核查;历史收录不代表刚刚重新验证。

2026-10-24 · 当时的记录

在已有推理服务之上回放长短混合会话,检验前缀缓存、准入和公平等待怎样共同影响完成率。先复用已有控制机制,再决定是否需要新调度策略。

构造同一组长文档问答、多轮 Agent 与短聊天轨迹,固定模型、硬件、最大输出和到达序列。先比较现有默认配置与项目已经提供的缓存、准入或公平性选项,分别记录从到达到完成的时间、首 token 前等待、中断、重试和每类会话的成功完成数。将缓存命中与被迫等待放在同一条请求轨迹上,避免用总吞吐掩盖某类会话一直排不到。

再改变一个因素,例如重复前缀比例或长会话集中到达程度。若改善只来自缩短允许输出,或把失败移成无限等待,就不能算相同工作量上的收益。只有已有机制仍表现出稳定缺口时,再提出调度修改,并与最简单的限额或分队列方法比较。本期尚未执行这些回放。

回到当期正文 ↗

查看依据IBM Research · llm-d 1.0 · Agens Engine · 1.3.5 变更记录