matteiuspi · r/LocalLLaMA · 阅读原文
原始来源：matteiuspi · r/LocalLLaMA
matteiuspi 更新了双昇腾 310P 卡上的 GLM-5.3-Flash 调试。他先借 NVIDIA 环境提取数值参照，校准实现后继续减少传输、类型转换和重复计算；正文自报从每 token 约 8 秒提升到约 8–9 token/s，冷预填充仍慢。他还将权重常驻、替换运行模块，以减少反复加载的实验等待。评论中的读者追问可比较的性能表，作者说配置仍变化，尚不能给完整表。本条记录调试过程，不把容量或售价直接当作性价比证明。
可信度 65 · 重要性 68 · 新颖度 67
技术与主题
系统与效率 · 评测与基准 · Ascend 310P · Mixture of Experts · Kernel Fusion · Numerical Validation
matteiuspi
原帖调试经验，节选数值校准与加载成本的顺序；不读取视频。
忠实转述（非原句）：他先发现 GLM 的计算不连贯，租用 NVIDIA 环境提取数值参照，用来校准昇腾计算。随后优化性能；他还把权重留在内存，替换模块和运行环境，认为这缩短了改动到重新测量的周期。
Dany0
同帖关于硬件价值的评论；带宽数字未独立核实，故只保留质疑方向。
忠实转述（非原句）：他认为功耗可以接受，但内存带宽拖慢解码，因此只看容量和卡价会高估价值。
Taenk
同帖读者要求可比较的条件；未用其对视频的转述作证据。
忠实转述（非原句）：他请求作者把不同模型的提示处理与推理速度列成表，便于判断项目目前能做到什么。作者回应模型、量化、卡数仍在变化，完整整理很耗时。
编辑评读
最可借鉴的是把“模型回答像不像样”改成先查数值路径。若一个底层实现尚未校准，性能数字会把计算差异混进硬件差异。权重常驻则解决另一个实践问题：每轮改动都重新加载，会让试验成本偏离真正的推理成本。
Dany0 提醒显存容量之外还有带宽，Taenk 则要求分别列输入处理与生成速度。这两种质疑都比只比较购卡价格更接近实际负担。作者强调在融合内核中减少复制，说明他也在处理这个问题；但目前缺少固定提示、版本、并发与质量门槛的统一结果，不能据此宣布这套硬件比另一套更划算。
从“每 token 约 8 秒”到“每秒 8–9 token”，单位已经倒过来。两数可说明作者感到调试有明显进展，但没有固定前后任务和质量条件，不能直接把倒数相除写成受控提速倍数。
需要留意
- 个人调试记录；并发上限不等于满上下文并发实测。