原始来源：DeepSeek · DeepInfer
发现渠道：Hacker News · AI
原始来源：相关原始说明 / 公开讨论
DeepSeek 开源的 DeepInfer，把自家模型推理中的一部分生产工程带到了公开代码里。它面向 DeepSeek-V4.1-Flash，提供 NVIDIA SM100 和华为 Ascend 950 路径。这里的“推理框架”首先指模型执行核心：怎样运行算子、安排下一轮计算、核验草稿 token，以及在不同批次中保持可重复结果。它不是把线上服务原样装进一个仓库。
机制上，CPU 调度与设备计算异步重叠，减少设备等主机的空档；DSpark 先提出草稿，再让目标模型核验，并按置信度调整核验长度。滑动窗口注意力只需要近期上下文，解码器因而保留足够覆盖窗口与回退的后缀，避免每次回退都重做更长历史。这些优化分别处理调度空隙、多步生成和回退开销，适用条件并不相同。
README 明列三项未完整开放的服务能力：KV 缓存系统、预填充与解码分离的编排、跨副本负载均衡。KV 缓存保存已经算过的上下文；官方问答解释，线上系统把它放入独立存储，让计算节点取得前缀时不必一直绑定原节点，从而缓解缓存命中与负载均衡之间的冲突。这部分设计知识可以读到，完整系统却不能仅凭当前仓库重建。
可复现性也有开关条件：批次不变性目前限 NVIDIA 路径；确定性采样还要求开启该模式、关闭可变长度多 token 预测（MTP），并固定序列种子。部署者需要同时检查硬件、正确性设置和服务组件，不能把公开的离线吞吐配置直接当成在线容量承诺。
可信度 65 · 重要性 90 · 新颖度 90
技术与主题
系统与效率 · 基础模型 · MoE · KV Cache · Speculative Decoding · Batch Invariance
_aavaa_
HN 对同一仓库的评论；不是运行报告。
忠实转述（非原句）：他提醒，公开内容中明显缺少 DeepSeek 自己的 KV 缓存系统。
rektlessness
HN 同帖；表达部署期待，未提供运行日志。
忠实转述（非原句）：他想要的是克隆仓库、指向一组 H100 后就能运行的生产服务，而不是继续拼接实验部件。
编辑评读
这次开放的价值，是让外部团队能沿着算子、草稿核验、调度和可重复性逐层检查一个真实推理核心。过去看到单一吞吐数字，很难区分收益来自模型结构还是服务组织；现在至少有一部分路径可读、可测。对研究者，可以沿用的做法是先明确省掉哪类工作：少等主机、少跑目标模型，还是少重算已知上下文，再决定用什么实验验证。
部署价值则取决于尚未补齐的环节。评论里有人希望把模型放到一组现成加速卡上就能得到可用服务，这个期待对应的是缓存管理、请求路由和故障处理，而不仅是算子速度。若比较离线固定批次与真实流量，需要给出相同延迟目标下的吞吐，并计入排队和缓存未命中的代价；这是建议的验证路径，本期未执行。把公开边界列清，也让团队能判断自己需要的是学习核心设计、接入现有服务框架，还是承担完整集群集成。