NVIDIA · 语音团队 · 阅读原文

原始来源:NVIDIA · 语音团队

发现渠道:Hacker News · 热点发现

原始来源:配套原始说明

原始来源:NVIDIA NeMo 医疗转写案例

一段录音可以有几种都合理的文字版本:保留口头语和逐字读法,把数字写成规范形式,或者整理成去掉停顿与重复的书面语。训练和评估若混用这些目标,模型即使听懂了,也可能被算错。NVIDIA 发布的 Nemotron 3.5 Transcribe 与 Granary v2 数据流水线,把这些输出形式明确分开,支持通过指令选择转写方式。

模型总参数约 300 亿、每次激活约 40 亿,结合状态空间层、Transformer 与专家混合结构。发布说明覆盖 40 种语言转写、31 种语言翻译,并对其中 13 种提供带说话人标记的输出。它面向已有录音,不是实时流式听写模型。Granary 则把音频分段、识别、幻觉检查及不同文字目标的生成串起来;公开清单约 46.3 万小时、48 种语言,不能与流水线处理过的全部音频时长混为一谈。

配套医疗转写案例显示,术语和目标拼写可以一起适配。团队用合成语音等材料微调,在与调参说话人分开的 2764 条留出样本上,将词错误率从 22.44% 降至 12.17%;通用 LibriSpeech 指标则由 1.54% 变为 1.69%,并非处处改善。包含调参样本的另一张全量结果表不能当作独立留出成绩。本期核对了原文口径,没有复现训练,也不把未来量化版本的吞吐预告当成当前可用表现。

可信度 65 · 重要性 85 · 新颖度 85

技术与主题

系统与效率 · 多模态 · ASR · MoE

mewse-hn

观点原文

在 Nemotron 3.5 Transcribe 发布帖中描述与 Parakeet 的比较;自报使用四比特量化,未附完整数据。

忠实转述(非原句):他正在测试转写,感到新模型更慢、更重、错误率更高;仍准备检查内置翻译是否值得。他主动补充,四比特量化可能影响准确率,所以这段经验只能对应其当前配置,不能直接代表全精度模型。

编辑评读

这个发布可迁移的部分,是先定义“忠实”究竟指什么。病历需要规范术语,访谈研究可能必须保留犹豫和自我修正,字幕又有可读性要求。把它们都叫准确转写,会把产品选择藏进指标。应让目标样式、训练标签与评分规则一致,再比较模型。

医疗案例中,合成数据的价值也不只是增加小时数:它让少见术语和指定书写形式更频繁出现。但若调参者与测试说话人重叠,改善会更难解释。原文另列说话人隔离结果,正是必须保留的比较边界;通用集略退步也提示专门化需要衡量取舍。

早期用户报告与发布榜单并不完全一致。有人用四比特量化版本测试后,认为更慢、更重且错误更多,同时明确量化可能影响准确度。它不能推翻全精度报告,却提出实际选型必须回答的问题:在自己的语言、设备、输出样式与量化条件下,新增翻译或说话人能力是否抵得上资源成本。建议从同一批录音的错误类型和整段耗时开始比较,而不是只转抄总榜名次。

需要留意

  • 录音转写不等于流式听写;语料公开范围、调参集合与留出集合须分开。

核查依据

所属事件

收录记录