原始来源:Tsinghua / CMU · 论文与代码(arxiv.org)
发现渠道:alphaXiv · 论文发现
TokenRouter 将 token 级模型路由与运行时调度分开:开发者描述单次请求何时切换模型,系统处理异步执行和批次安排。它关注细粒度切换带来的等待、批处理损失,以及路由收益能否真正转成运行收益。论文附有代码;本期作为方法线索,不将作者报告的加速幅度外推到其他工作负载。
可信度 65 · 重要性 63 · 新颖度 70
技术与主题
系统与效率 · 基础模型 · Model Routing · Token-level Routing · Batching · Inference Scheduling