Mistral、Hugging Face、vLLM · 阅读原文
原始来源：Mistral、Hugging Face、vLLM
原始来源：Hugging Face 架构与部署介绍
原始来源：vLLM 实现与性能条件
原始来源：权重附带许可证
Mistral 10 月 29 日发布 Large 4 权重，包含 FP8 与 NVFP4 版本，支持文字和图像输入。这是一万亿级总参数的混合专家模型；每个 token 只激活部分专家，核心活跃参数约 490 亿，计入嵌入与输出层约 520 亿。少激活参数减少的是每步计算，并不意味着只需存放这部分权重。
架构还从上下文入手节省资源：压缩用于保留已读内容表示的键值（KV）缓存，用索引器选择最多 2,048 个历史位置参与稀疏注意力，部分层共享缓存。vLLM 团队的实现说明补上了部署侧细节。DCP，也就是解码阶段的上下文并行，把原本在多张卡上重复保存的缓存按 token 分摊，让同一组设备容纳更多长会话；它同时增加通信，未必使单个请求更快。
在团队报告的 8 张 GB300、NVFP4 设置中，DCP8 将可用 KV 缓存池从约 360 万扩至 2,876 万 token；但在不启用推测解码、相同工作负载的比较中，每 token 解码约慢 16%—28%。缓存够用时，普通张量并行反而吞吐更高。模型标称长上下文、系统容纳多少并发会话与用户等多久，是三个不同问题。开放权重还附带专门许可证，不能将其直接称为不受限制的 MIT 开源。
可信度 65 · 重要性 88 · 新颖度 85
技术与主题
系统与效率 · 基础模型 · 多模态 · Sparse Attention · Decode Context Parallelism · Speculative Decoding
maxloh
回应原帖：查看原帖上下文
评论者就开放权重的命名和许可证提出异议。
忠实转述（非原句）：maxloh 认为附加商业条件不应让读者误以为权重采用通常意义的开放源码许可。评论有助于提醒读者检查原许可证，但不能替代对具体使用场景的条款阅读；本期统一称“开放权重”。
编辑评读
这次发布最有用的补充来自实现团队主动写出的代价。更大的缓存池帮助长会话驻留，更多通信则可能拖慢逐 token 生成；两种结果可以同时成立。读者应先判断自己的限制是权重装不下、会话缓存放不下，还是生成延迟太高，再看哪一项优化对症。
同样，内置的草稿模型可以一次提出多个 token，再由主模型验证，减少逐个生成的开销，但接受率与请求类型会影响收益。它与 DCP 处理的是不同瓶颈，组合后也有额外缓存开销。把各自最佳倍数直接相乘，会掩盖配置和测量条件的变化。
官方发布页与 Hugging Face 介绍页的若干榜单数字存在差异，本期没有据此给模型排统一名次。更可执行的下一步是使用自己的提示长度、输出长度和并发分布，比较首 token 等待、生成速度与完成质量。这里引用的是开发团队测量，尚不是本刊独立部署结果。
需要留意
- 部署数字为vLLM团队特定设备与配置的报告；不同页面榜单口径未统一，不据此作跨模型排名。
核查依据
- 发布页说明FP8/NVFP4开放权重与近期强化学习更新；实际架构和部署数字另据HF/vLLM材料。
- Hugging Face 架构与部署介绍；正文限定了读取范围、配置及作者证据性质。
- vLLM 实现与性能条件；正文限定了读取范围、配置及作者证据性质。
- 权重附带许可证；正文限定了读取范围、配置及作者证据性质。