Mistral 10 月 29 日发布 Large 4 权重，包含 FP8 与 NVFP4 版本，支持文字和图像输入。这是一万亿级总参数的混合专家模型；每个 token 只激活部分专家，核心活跃参数约 490 亿，计入嵌入与输出层约 520 亿。少激活参数减少的是每步计算，并不意味着只需存放这部分权重。
架构还从上下文入手节省资源：压缩用于保留已读内容表示的键值（KV）缓存，用索引器选择最多 2,048 个历史位置参与稀疏注意力，部分层共享缓存。vLLM 团队的实现说明补上了部署侧细节。DCP，也就是解码阶段的上下文并行，把原本在多张卡上重复保存的缓存按 token 分摊，让同一组设备容纳更多长会话；它同时增加通信，未必使单个请求更快。
在团队报告的 8 张 GB300、NVFP4 设置中，DCP8 将可用 KV 缓存池从约 360 万扩至 2,876 万 token；但在不启用推测解码、相同工作负载的比较中，每 token 解码约慢 16%—28%。缓存够用时，普通张量并行反而吞吐更高。模型标称长上下文、系统容纳多少并发会话与用户等多久，是三个不同问题。开放权重还附带专门许可证，不能将其直接称为不受限制的 MIT 开源。