持续追踪

昇腾 310P 上的本地 MoE 调试:先找数值参照,再优化内核

按时间保留当时的判断和后续核查;历史收录不代表刚刚重新验证。

2026-10-12 · 当时的记录

matteiuspi 更新了双昇腾 310P 卡上的 GLM-5.3-Flash 调试。他先借 NVIDIA 环境提取数值参照,校准实现后继续减少传输、类型转换和重复计算;正文自报从每 token 约 8 秒提升到约 8–9 token/s,冷预填充仍慢。他还将权重常驻、替换运行模块,以减少反复加载的实验等待。评论中的读者追问可比较的性能表,作者说配置仍变化,尚不能给完整表。本条记录调试过程,不把容量或售价直接当作性价比证明。

本次记录的观点:matteiuspi · Dany0 · Taenk

回到当期正文 ↗

查看依据原文 · 原始依据 · 原始依据