机架级 GPU 系统中,调度器不能只数空闲卡。Grace Blackwell NVL72 的一个机架包含 18 个计算节点,每节点 4 张 GPU,机架内通过 NVLink 高速互连。把一层计算或不同专家分配给多张卡时,部分通信依赖这种局部性;把卡放到不同机架,虽然数量相同,工作负载的通信代价却可能不同。
SkyPilot 提出的核心安排,是按 16 个节点组成可调度单元,给同一机架留下两个备用节点。要求整架 18 节点都可用时,一个节点故障就可能使整架无法承接该任务;16 节点方案则允许少量故障。原文引用并改绘 NVIDIA 的容量模型:在 128 个机架、节点不可用率 2% 的条件下,预计可用节点从 1,602 增至 2,037,约多 27%。这是特定条件下的可用容量,不是训练速度或每张卡性能提高 27%。
工程上还要保证单元内放置、故障后的替换与迁移,以及碎片整理。备用节点用完后,任务可能需要换到别的机架,并从检查点恢复。NVIDIA 的 Slurm 文档已经提供按拓扑分段的机制,也解释了为何 16 节点分段能比 18 节点更耐受故障。SkyPilot 的价值应在具体调度与恢复体验中判断,不能把这条容量原理当作独有发明。