Microsoft AI · Lab Notes · 阅读原文
发现渠道：Hacker News
微软介绍MAI-Base-2：总参数2.8T、每token激活80B，在16K块GB200上训练38天。方法包括让小规模试验保留相同数据重复次数的source scaling、多轮处理溢出token的固定内存MoE，以及Muon与激活梯度裁剪。所谓较DeepSeek-V4-Pro-Base节省4.2至12.3倍FLOPs，是按四组保留文本的bits-per-byte拟合缩放曲线，估计达到相同损失所需计算量；不是两次完整训练账单的直接比值。模型仍在后训练。
可信度 65 · 重要性 81 · 新颖度 78
技术与主题
系统与效率 · 基础模型 · 训练与对齐 · MoE · Muon · Source Scaling · Activation Gradient Clipping
Microsoft AI
官方预训练技术笔记，模型仍在后训练；结果均为作者自报。
忠实转述（非原句）：团队同时用FLOPs与实际时间衡量方案；FLOPs赢而时间输的改动，反映的是仍需改善的基础设施。
adroitboss
针对同一MAI-Base-2文章的比较范围提问，不是实测。
忠实转述（非原句）：他问模型既然没有开放，为何与开放权重模型而不是所有最强模型比较。
leothetechguy
同一讨论下回应比较对象可得性，不是独立效果证据。
忠实转述（非原句）：他回应，最先进的闭源基础检查点无法取得，因而不能直接纳入这种比较。
编辑评读
source scaling解决的是小试验可能给出错误配方的问题。如果小模型见到的数据基本不重复，大模型却反复看同一份资料，小规模最好的正则化选择可能无法迁移。作者限制每级可见的独立样本，使重复次数接近目标训练。这比只按参数量外推多控制了一个变量，但也要求目标数据混合与重复计划足够明确。
系统部分同样要分别看计算与时间。多轮MoE给每个专家固定容量，溢出的token排入后续轮次，借空闲容量并交叠通信；它用可能增加的轮数换取可预测的内存。若只比较理论FLOPs，会遗漏路由不均衡、通信和重计算带来的差异。文章因此同时讨论达到同一损失的时间收益和FLOPs收益。
4.2至12.3倍是这套评估下的配方效率估计，不能写成微软训练总费用只有对手几分之一。比较集合中还有经过后训练的模型，作者也提醒这会影响文本损失。HN里对为何只比开放权重模型的追问有现实意义：可取得的比较对象，限定了结论允许覆盖的范围。
需要留意
- 作者内部保留集与缩放拟合；本次未取得独立训练复现。