原始来源:Shahir · 个人项目与作者答疑
发现渠道:Hacker News · 热点发现
Shahir 尝试把 EmbeddingGemma 2 的音频和文字嵌入接起来:冻结音频编码器,训练一个小型 reader,把音频片段对齐到文字向量空间,再从约 22.9 万个英语词的嵌入中找到对应词,另用小模型处理标点和大小写。它不是 Google 发布的新语音模型,而是基于现有表征的个人实验。
项目报告,在 M3 MacBook Air 8GB 上通过 Neural Engine,用 12.6 秒转写一小时音频;同页给出的 Granite Speech 5 Turbo CTC 在同台机器的 GPU 路径为 25.7 秒。这里比较的是两套实现与硬件路径。作者自报词错误率约 5%,但页面未充分交代测试集和文本规范化规则,不能把这个数同其他产品宣传值直接排名。
可信度 65 · 重要性 80 · 新颖度 68
技术与主题
系统与效率 · 评测与基准 · 多模态 · Audio Embedding · CTC · Representation Learning · Speech-to-Text
Shershah1024
作者在同一项目的 HN 讨论中回应;不是第三方复现。
忠实转述(非原句):他说明最初只是想试验共享的音频与文字向量空间能否用于转写,速度是意外收益。准确率还没有达到云模型水平,接下来想增加数据种类和训练,并在整理后开放代码。
Shershah1024
同一作者补充开发阶段的对照,不能算第二组独立证据。
忠实转述(非原句):他也试过直接预测字符的 CTC 头:当时有声书的 WER 为 7.0 对 8.2,字符方案更好;讲座却是 16.5 对 10.8,字符方案更差,主要问题是拼写。这个差别让词嵌入作为输出空间的取舍变得具体。
编辑评读
启发在于:一个为检索设计的共享表征,可能已经包含了足以支持转写的信息,较小的读出模块就能把它转成任务输出。速度快并不自动意味着更适合全部录音;专业词、语言覆盖、标点和噪声条件仍会决定使用价值。
作者在讨论中补充过字符级 CTC 的对照:当时在干净有声书上字符输出较好,在讲座音频上却明显较差,主要受拼写影响。这些是开发中不同阶段的结果,不能和首页约 5% 的数字拼成一个统一榜单。当前应把它看作可继续验证的表示学习实验;作者说将开源,不等于今天已经取得可完整复现的代码和模型。