在已有推理服务之上回放长短混合会话,检验前缀缓存、准入和公平等待怎样共同影响完成率。先复用已有控制机制,再决定是否需要新调度策略。
构造同一组长文档问答、多轮 Agent 与短聊天轨迹,固定模型、硬件、最大输出和到达序列。先比较现有默认配置与项目已经提供的缓存、准入或公平性选项,分别记录从到达到完成的时间、首 token 前等待、中断、重试和每类会话的成功完成数。将缓存命中与被迫等待放在同一条请求轨迹上,避免用总吞吐掩盖某类会话一直排不到。
再改变一个因素,例如重复前缀比例或长会话集中到达程度。若改善只来自缩短允许输出,或把失败移成无限等待,就不能算相同工作量上的收益。只有已有机制仍表现出稳定缺口时,再提出调度修改,并与最简单的限额或分队列方法比较。本期尚未执行这些回放。