DeepSeek 开源的 DeepInfer，把自家模型推理中的一部分生产工程带到了公开代码里。它面向 DeepSeek-V4.1-Flash，提供 NVIDIA SM100 和华为 Ascend 950 路径。这里的“推理框架”首先指模型执行核心：怎样运行算子、安排下一轮计算、核验草稿 token，以及在不同批次中保持可重复结果。它不是把线上服务原样装进一个仓库。
机制上，CPU 调度与设备计算异步重叠，减少设备等主机的空档；DSpark 先提出草稿，再让目标模型核验，并按置信度调整核验长度。滑动窗口注意力只需要近期上下文，解码器因而保留足够覆盖窗口与回退的后缀，避免每次回退都重做更长历史。这些优化分别处理调度空隙、多步生成和回退开销，适用条件并不相同。
README 明列三项未完整开放的服务能力：KV 缓存系统、预填充与解码分离的编排、跨副本负载均衡。KV 缓存保存已经算过的上下文；官方问答解释，线上系统把它放入独立存储，让计算节点取得前缀时不必一直绑定原节点，从而缓解缓存命中与负载均衡之间的冲突。这部分设计知识可以读到，完整系统却不能仅凭当前仓库重建。
可复现性也有开关条件：批次不变性目前限 NVIDIA 路径；确定性采样还要求开启该模式、关闭可变长度多 token 预测（MTP），并固定序列种子。部署者需要同时检查硬件、正确性设置和服务组件，不能把公开的离线吞吐配置直接当成在线容量承诺。