大模型推理需要存放权重，还要给正在处理的请求保留状态。Cerebras 这篇架构说明展示一种安排：把模型的不同层放在多片晶圆上，权重尽量留在各自的片上 SRAM（直接位于计算芯片上的高速存储器）中，相邻阶段通过网络传递中间计算结果。这样，多片晶圆可以像流水线一样，同时处理处于不同阶段的请求。
文章用一个3万亿参数、93层的 Kimi K3 配置举例。按4位权重计算，权重约需1.5 TB；每片 WSE-3T 有44 GB SRAM，示例还假定平均请求长度为256K、KV缓存使用8位表示。线性注意力层保留的状态与全注意力层不同，后者还要为请求的 KV cache 留空间，即保存此前 token 的键和值，供后续注意力计算复用。因此不能只用总权重除以总存储量，便得出部署方案。
在文章给定的层分配和请求假设下，69个线性注意力层占35片晶圆，24个全注意力层各占一片，合计59片。单个请求依次通过这些阶段；多个请求错开进入，才能让流水线同时工作。微批处理把若干请求一起送入阶段，可改善利用率，也会改变等待时间。
这些数字用于解释容量和调度方式，依赖量化、上下文与状态预算。本篇并未给出可据以独立比较整机吞吐、能耗和实际服务排队的统一测试；“装得下”、单次生成快和在线服务容量是不同问题。