把H-Net的从头分块与Bolmo的已有模型改造放在一起,研究字符级任务收益、通用能力保留和实际计算成本之间的取舍。
可以选择一种确实受字符边界影响、又能判定输出是否正确的小任务,例如新领域标识符的精确复制与修改,或少见编程语言中的局部结构变换。先观察现有子词模型、已发布字节模型及各自来源模型的错误,判断收益是否真发生在边界附近。随后才值得在可承受的小规模上比较:只适配外围边界模块,与联合调整主体,分别获得多少局部收益、损失多少原有能力。
需要固定可获得的适配文本、报告历史预训练与新增训练的不同成本,并同时看字符错误、原领域任务和每输出字节的实测时延。若收益来自更多训练数据或更大主体,而不是边界适配,就应改写问题;若动态分块只改善损失却使真实推理更慢,也不能称为部署优化。这是下一步可做的比较,未宣称已有相应结果。