Ricursive 发布了650亿参数的稠密模型 Ripple-65B Preview,提供基础模型和指令模型权重。稠密模型每步使用全部主体参数,与只激活部分专家的混合专家模型不同。团队选择它,部分是为了减少路由等系统复杂度,把研发资源集中到数据、架构和后训练。预训练用了12万亿 token,以英语和代码为主;最终模型支持百万 token 上下文,但初始预训练的上下文长度是8千。
这份说明最有用的部分,是如何做规模逐级放大的试验。团队以 OLMo 3 为起点,先在小模型上比较,再到40亿参数检查收益能否保留:一种双重归一化安排在小规模上作用不明显,到40亿时有帮助;另一项结构改动在小试验中有益,放大后没有延续,于是没有进入最终方案。最终网络采用80层、较窄的隐藏维度,并增加局部滑动窗口注意力来控制成本;局部注意力只看附近一段 token,不能把它理解为每层都完整读取百万上下文。
后训练又组合了奖励处理、长输出惩罚和逐步加难的任务课程。作者给出的 Terminal-Bench 2.1 得分为80.52,并将其称作美国开放权重模型中的领先结果。模型卡同时说明,模型、推理强度与运行框架的条件会影响比较;这不是所有编程场景的统一排名。
团队披露总研发成本3200万美元,包含试验、调试、合成数据以及最终预训练和后训练。它不是只跑最后一次训练的账单;宣传中“约为此前模型十分之一”的对照还依赖对其他团队成本的估计。本期保留这个口径,重点阅读可追溯的试验取舍,不把估算成本当成已完成的同条件效率测量。