Tsinghua / CMU · 论文与代码 · 阅读原文

原始来源:Tsinghua / CMU · 论文与代码(arxiv.org)

发现渠道:alphaXiv · 论文发现

TokenRouter 将 token 级模型路由与运行时调度分开:开发者描述单次请求何时切换模型,系统处理异步执行和批次安排。它关注细粒度切换带来的等待、批处理损失,以及路由收益能否真正转成运行收益。论文附有代码;本期作为方法线索,不将作者报告的加速幅度外推到其他工作负载。

可信度 65 · 重要性 63 · 新颖度 70

技术与主题

系统与效率 · 基础模型 · Model Routing · Token-level Routing · Batching · Inference Scheduling

核查依据

所属事件

收录记录