Chida82 在 128 GB M5 Max 上从 SSD 流式读取 341 GB 的 DeepSeek V4.1 Flash Q2 权重。10 月 11 日的帖子报告:APFS 上不对齐的 F_NOCACHE 读取仍留下部分页缓存,挤走解码权重;拆出首个残页后,8K prompt 预填充后的首 token 从 1.23 秒降到 0.15 秒。另一项改动用共享缓冲区轮询路由结果,减少逐层等待。仓库另列同 GGUF、参数、82GB 专家缓存及基线提交的对照;这些整套收益不应全算在两个局部改动上。
持续追踪