原始来源：ewhacc · 开源实现与作者基准
发现渠道：社区讨论与聚合入口
混合专家模型每生成一个 token，只会调用部分专家，但所有专家权重未必放得进显存。tandem.cpp 是针对 llama.cpp 的补丁：把大部分专家留在主机内存，显存中的空余空间用作专家缓存；缓存未命中时，部分工作交给 CPU 并行计算，另一部分通过 PCIe 传给 GPU，按测得的 CPU 和传输能力分配。
README 给出单用户、GSM8K 前二百题、短提示与最多 2048 个输出 token 的测量。在 i5-12400F、64 GB DDR4、RTX 4090 24 GB 的机器上，使用约 78 GiB 的 Qwen3.8 量化专家权重和相同草稿模型，贪心生成由 llama.cpp 的 29.8 提高到 97.3 token/秒。但同表中 Strata 的相应结果更快，不能把“约 3.3 倍”读成对所有引擎的领先。
收益也有清楚的失败条件。更大的 DeepSeek 配置需要从 SSD 读取，当前 CPU 路径不能接走这类缺页工作，在消费级机器上反而比基线慢。多个并发请求争用小缓存时，总收益也会降低。用于保存已读上下文注意力状态的 KV 缓存还会占用原本可给专家缓存的显存，所以短提示速度不能直接当成长任务吞吐。
作者另列数值分布与困惑度检查，称关闭默认优化可与基线完全对应，默认融合内核主要改变舍入；CPU、GPU 的分工又受运行时序影响，贪心输出不保证每次相同。它已公开实现和限制，但本期没有独立运行，Reddit 评论接口返回 403，也未取得可采用的外部同条件复测。
可信度 65 · 重要性 76 · 新颖度 77
技术与主题
系统与效率 · 基础模型 · MoE专家缓存 · CPU GPU协同 · 内存带宽
编辑评读
这里的新能力来自重新分配数据与计算的位置。若显存不足，单纯追求 GPU 峰值算力可能不解决问题：系统可能大部分时间在等权重经过 PCIe。让 CPU 消化一部分未命中专家，有机会与 GPU 重叠工作；但 CPU 内存带宽、模型是否装得进主存，以及缓存命中率会共同决定效果。SSD 例子说明，同一种调度在跨过容量边界后可能失去优势。
读者可以先估算自己的权重、KV 缓存和主存余量，再看作者对应硬件行，而不是从最快数字反推设备能力。若以后评测，应该同时记录首 token 延迟、稳定生成速度、上下文长度和任务质量，并固定草稿模型与量化格式。输出不逐字一致也不必然表示质量下降，却意味着单靠一次文本相等检查不足以说明数值和任务行为；这些比较在本期没有执行。