发现渠道：Hacker News · 热点发现
多数语言模型先用固定分词器把文字变成 token，再把它们交给神经网络。常见的 BPE 会把经常相邻的字节合并成词表单元；切法预先确定，遇到陌生语言、代码或特殊格式时未必合适。Cartesia 的 H-Net 从字节出发，让网络在训练中决定分组边界。轻量外层编码细节，主网络处理压缩后的序列，随后还原到字节位置并生成输出；同样结构还能嵌套，形成更深的层级。
这次长文的重要补充是比较条件。单层实验尽量匹配内外层结构、计算量、参数与压缩率，并在同一训练语料上重新训练 BPE。团队报告，在留出验证数据上，达到相同的每字节预测损失所需训练计算约少 22%；更大的优势出现在部分分布外数据。每字节损失衡量预测文本的能力，不等于任务答对率，也不直接代表实际机器上的训练速度。
两层实验进一步与 SmolLM3 比较，在每字节计算相近时，用约一万亿 token 等量数据达到后者约十一万亿训练规模的六项任务平均成绩。不过两者参数量并不完全相等，训练阶段和后期数据混合也不同，不能把十倍左右的差距全部归于分词。文章给出了更有力的扩展线索；新版结构的完整发布与他人重建，仍是下一步要看的证据。
可信度 65 · 重要性 92 · 新颖度 85
技术与主题
系统与效率 · 基础模型 · H-Net · byte-level modeling
编辑评读
值得改变的直觉是：输入单位不一定要在训练前固定。固定词表把压缩决策交给预处理，H-Net 则让这一决策与预测目标共同学习。当数据形式变化很大时，模型有机会把计算集中在更合适的语义尺度上；代价是增加了学习边界、压缩和恢复位置的结构复杂性。
单层严格对照与两层规模实验回答不同问题。前者较接近“在这些配平条件下，学习分组是否有益”，后者展示的是一整套架构和训练方案能走到哪里。将二者分开，既能看到能力机会，也避免把规模图上的差距误读成单一机制已经被完全隔离。
对工程团队而言，最有迁移价值的追问是自己的数据在哪些地方被固定切法拖累，例如混合语言、少见代码语法或长串格式符号。应先观察这些子集，而非仅看总体平均分。当前材料尚不足以判断服务延迟、批处理效率和后端实现成本；训练计算收益只有接到实际系统测量，才会成为部署收益。
需要留意
- 计算量、每字节损失与任务准确率不是同一个指标；两层比较并非仅替换分词器。