多数语言模型先用固定分词器把文字变成 token,再把它们交给神经网络。常见的 BPE 会把经常相邻的字节合并成词表单元;切法预先确定,遇到陌生语言、代码或特殊格式时未必合适。Cartesia 的 H-Net 从字节出发,让网络在训练中决定分组边界。轻量外层编码细节,主网络处理压缩后的序列,随后还原到字节位置并生成输出;同样结构还能嵌套,形成更深的层级。
这次长文的重要补充是比较条件。单层实验尽量匹配内外层结构、计算量、参数与压缩率,并在同一训练语料上重新训练 BPE。团队报告,在留出验证数据上,达到相同的每字节预测损失所需训练计算约少 22%;更大的优势出现在部分分布外数据。每字节损失衡量预测文本的能力,不等于任务答对率,也不直接代表实际机器上的训练速度。
两层实验进一步与 SmolLM3 比较,在每字节计算相近时,用约一万亿 token 等量数据达到后者约十一万亿训练规模的六项任务平均成绩。不过两者参数量并不完全相等,训练阶段和后期数据混合也不同,不能把十倍左右的差距全部归于分词。文章给出了更有力的扩展线索;新版结构的完整发布与他人重建,仍是下一步要看的证据。