持续追踪

Mac 流式推理:页对齐与同步等待,怎样拖慢首 token

按时间保留当时的判断和后续核查;历史收录不代表刚刚重新验证。

2026-10-12 · 当时的记录

Chida82 在 128 GB M5 Max 上从 SSD 流式读取 341 GB 的 DeepSeek V4.1 Flash Q2 权重。10 月 11 日的帖子报告:APFS 上不对齐的 F_NOCACHE 读取仍留下部分页缓存,挤走解码权重;拆出首个残页后,8K prompt 预填充后的首 token 从 1.23 秒降到 0.15 秒。另一项改动用共享缓冲区轮询路由结果,减少逐层等待。仓库另列同 GGUF、参数、82GB 专家缓存及基线提交的对照;这些整套收益不应全算在两个局部改动上。

本次记录的观点:Chida82

回到当期正文 ↗

查看依据原文 · 原始依据 · 原始依据