微软介绍MAI-Base-2：总参数2.8T、每token激活80B，在16K块GB200上训练38天。方法包括让小规模试验保留相同数据重复次数的source scaling、多轮处理溢出token的固定内存MoE，以及Muon与激活梯度裁剪。所谓较DeepSeek-V4-Pro-Base节省4.2至12.3倍FLOPs，是按四组保留文本的bits-per-byte拟合缩放曲线，估计达到相同损失所需计算量；不是两次完整训练账单的直接比值。模型仍在后训练。
持续追踪
持续追踪
微软介绍MAI-Base-2：总参数2.8T、每token激活80B，在16K块GB200上训练38天。方法包括让小规模试验保留相同数据重复次数的source scaling、多轮处理溢出token的固定内存MoE，以及Muon与激活梯度裁剪。所谓较DeepSeek-V4-Pro-Base节省4.2至12.3倍FLOPs，是按四组保留文本的bits-per-byte拟合缩放曲线，估计达到相同损失所需计算量；不是两次完整训练账单的直接比值。模型仍在后训练。