Rohan Sonecha · SkyPilot · 阅读原文
机架级 GPU 系统中，调度器不能只数空闲卡。Grace Blackwell NVL72 的一个机架包含 18 个计算节点，每节点 4 张 GPU，机架内通过 NVLink 高速互连。把一层计算或不同专家分配给多张卡时，部分通信依赖这种局部性；把卡放到不同机架，虽然数量相同，工作负载的通信代价却可能不同。
SkyPilot 提出的核心安排，是按 16 个节点组成可调度单元，给同一机架留下两个备用节点。要求整架 18 节点都可用时，一个节点故障就可能使整架无法承接该任务；16 节点方案则允许少量故障。原文引用并改绘 NVIDIA 的容量模型：在 128 个机架、节点不可用率 2% 的条件下，预计可用节点从 1,602 增至 2,037，约多 27%。这是特定条件下的可用容量，不是训练速度或每张卡性能提高 27%。
工程上还要保证单元内放置、故障后的替换与迁移，以及碎片整理。备用节点用完后，任务可能需要换到别的机架，并从检查点恢复。NVIDIA 的 Slurm 文档已经提供按拓扑分段的机制，也解释了为何 16 节点分段能比 18 节点更耐受故障。SkyPilot 的价值应在具体调度与恢复体验中判断，不能把这条容量原理当作独有发明。
可信度 65 · 重要性 86 · 新颖度 78
技术与主题
系统与效率 · Topology-Aware Scheduling · NVLink · Fault Tolerance
编辑评读
这条材料提醒我们区分买到的资源、能够凑成任务的资源和真正完成工作的资源。机架里有空闲 GPU，不代表它们能组成满足通信条件的一组。把故障冗余与并行拓扑一起设计，可能比单纯提高占用率更有用；这也是看懂“可用容量”这个指标的前提。
16 节点并不是无条件最优。它牺牲了整架规模的通信组，换取对故障的容忍；实际收益取决于任务是否适应这种分组、故障是否集中、恢复需要多久，以及碎片整理会打断哪些任务。容量模型不能回答这些问题，生产集群应结合任务完成时间和重启损失再作选择。
一个可以迁移的比较方法，是在相同任务和节点故障轨迹下，比较整架、较小分段及带备用节点的策略，并同时记录排队、有效训练时间与恢复成本。本文没有进行这样的试验。原文另有 GR00T 训练放置对比，测量对象不同，本期不把它与 27% 容量收益相乘或合并。
需要留意
- 27%来自特定故障率的容量模型；与原文另一项训练吞吐测试分开，未独立验证厂商生产数据。