持续追踪

EmbeddingGemma 转写实验:用共享向量空间读出语音

按时间保留当时的判断和后续核查;历史收录不代表刚刚重新验证。

2026-10-19 · 当时的记录

Shahir 尝试把 EmbeddingGemma 2 的音频和文字嵌入接起来:冻结音频编码器,训练一个小型 reader,把音频片段对齐到文字向量空间,再从约 22.9 万个英语词的嵌入中找到对应词,另用小模型处理标点和大小写。它不是 Google 发布的新语音模型,而是基于现有表征的个人实验。

项目报告,在 M3 MacBook Air 8GB 上通过 Neural Engine,用 12.6 秒转写一小时音频;同页给出的 Granite Speech 5 Turbo CTC 在同台机器的 GPU 路径为 25.7 秒。这里比较的是两套实现与硬件路径。作者自报词错误率约 5%,但页面未充分交代测试集和文本规范化规则,不能把这个数同其他产品宣传值直接排名。

本次记录的观点:Shahir / Shershah1024 · Shahir / Shershah1024

回到当期正文 ↗

查看依据原文 · 原始依据 · 原始依据