Phonon 与 Whisper Large v3 Turbo：离线语音闭环的两半

将Phonon 31M与Whisper Large v3 Turbo进行比较，是一种范畴错误，而且它是当前语音工程中最有用的范畴错误。Phonon 31M 由 Gradium 于 2026 年 10 月 20 日发布，可将文本转换为音频。Whisper Large v3 Turbo 由 OpenAI 于 2024 年 10 月 1 日发布，可将音频转换为文本。它们并不相互竞争。它们是同一个循环的两端，而且两者都足够小、足够快，可以在你自己拥有的硬件上运行。

把这两者放在一起会让人困惑，还有第二个原因。两者都会发布一个叫 WER 的数字，而这两个数字的含义正好相反。对 Whisper 来说，词错误率衡量的是转写出错的频率。对 Phonon 来说，它衡量的是转写器听错模型所生成语音的频率。两种情况下都是数字越低越好，但它们并不是同一种测量，而把它们放进同一列，正是糟糕比较产生的方式。

一个倾听，一个诉说

Whisper Large v3 Turbo 是一个语音识别模型。它保留了 Whisper large-v3 的完整编码器，并将解码器从 32 层缩减到 4 层，参数量为 8.09 亿，而非 15.5 亿。它覆盖 99 种语言，可自动检测语言，且未针对翻译进行训练。OpenAI 的文档称其速度约为 large 模型的八倍，但准确率略有损失；该公司未在模型卡上公布精确的倍数，因此任何确切的速度数字均来自第三方测试。

Phonon 31M 是一个语音合成模型。它接收文本和音色，通过一个作用于 Mimi 潜变量的流匹配 transformer 生成 24 kHz 单声道音频。它的参数量为 3100 万（不含分词器），以 64.5 MB 的 q8 GGUF 格式发布，许可证为 Apache 2.0。它完全不具备听觉能力——无法转写、进行说话人分离或检测语言。

它们唯一的共同点是一个设计目标：两者都旨在无需数据中心即可运行。Whisper Turbo 是一个已成为默认开源 ASR 基线的家族中快速、廉价的成员。Phonon 则试图让合成那一半也变得同样廉价。

相同的三个字母，两种不同的测量

Whisper Large v3 Turbo 在 English Open ASR Leaderboard 上报告的平均 WER 为 7.83，而完整的 large-v3 为 7.44。在 LibriSpeech test-clean 上，这一数字约为 2.0%。这些数字描述的是模型在听到清晰语音时写错单词的频率。

Phonon 31M 在其模型卡中报告 Seed-TTS 上为 0.51%、在更难的数据集上为 1.5%，而在发布博客中，同一难数据集上为 1.70%。这些数字描述的是 whisper-large-v3 在听到 Phonon 的输出时写错词的频率。请注意，评分器正是 Whisper 本身。Gradium 的方法论以一种不可避免的方式陷入了循环：要衡量一个 TTS 模型，你需要一个 ASR 模型，而 ASR 模型自身的错误率则为 TTS 模型能显得多好设定了一个下限。

这就是为什么 TTS WER 为 0.5% 与 ASR WER 为 7.8% 不可比较，以及为什么低于约 1% 的 TTS WER 应理解为“转写器没有遇到困难”，而不是“语音近乎完美”。人类听众与自动评分器会存在分歧，尤其是在韵律方面，而任何 WER 都无法捕捉韵律。

• 任务 — 为 Phonon 31M 进行文本转语音；为 Whisper Large v3 Turbo 进行语音转文本。

• 参数 — Phonon 31M 为 31M（不包括分词器）；Whisper Large v3 Turbo 为 809M。

• 语言 — Phonon 31M 仅支持英语；Whisper Large v3 Turbo 支持 99 种语言。

• 输出 — 用于 Phonon 31M 的 24 kHz 单声道音频；用于 Whisper Large v3 Turbo 的带时间戳文本。

• 报告的准确率——Phonon 31M 的 Seed-TTS WER 为 0.51%，由 Whisper 测得；Whisper Large v3 Turbo 在 Open ASR Leaderboard 上的平均英语 WER 为 7.83。

• 许可证 — Phonon 31M 采用 Apache 2.0；Whisper Large v3 Turbo 采用 MIT。

估算离线语音循环的规模

如果目标是打造一个断网也能工作的语音助手，那么物料清单上就是三个模型，而不是两个：语音识别、语言生成和语音合成。

Whisper Large v3 Turbo 有 8.09 亿个参数，在 16 位精度下权重大约为 1.6 GB。GPU 推理通常会为激活和批处理预留数 GB 的工作内存；量化后的 GGUF 版本会以少量精度损失进一步缩小占用。就其 Turbo 形式而言，它并不是手机级模型，不过更小的 Whisper 变体和蒸馏版本则是。

Phonon 31M 为 64.5 MB。这大约是 Whisper Turbo 权重文件的二十五分之一，并且它可以在一个 CPU 核心、iPhone 神经网络引擎或 Raspberry Pi 上运行。

中间的语言模型是变量。一个 1B 到 4B 的 instruct 模型量化到 4 位后只需几 GB 空间，是离线助手的常见选择。完整闭环——Whisper Turbo、一个小型 instruct 模型、Phonon——的总体占用落在笔记本电脑或高端手机能够承载的范围内，其中 ASR 是最重的组件。

这种不对称正是实用性的洞见。人们所担忧的那半个循环——合成，即必须听起来像人的那部分——如今反而是廉价的那一半。识别才是昂贵的那一半。

延迟预算

Phonon 的供应商数据表明，在 MacBook Air M5 核心上首次音频输出为 5 到 7 毫秒，在 iPhone 16 Pro 上为 9 毫秒；吞吐量介于实时的 11.6 到 41 倍之间，具体取决于你读的是 Gradium 的哪份文档。Whisper Turbo 的速度在很大程度上取决于硬件和后端：OpenAI 称其大约比 large-v3 快八倍，而采用量化构建的社区基准测试报告称，在 Apple 芯片上可达实时的数十倍，在 CPU 上则慢得多。

对于对话循环而言，识别步骤占主导地位。一段三秒的语音在笔记本电脑 GPU 上转写只需几百毫秒，而在性能较弱的 CPU 上则接近实时。相比之下，合成步骤实际上几乎是瞬时的。先优化 TTS 的团队是在优化错误的一端。

语言覆盖范围是硬性约束

Whisper 支持 99 种语言。Phonon 31M 只支持一种，而 Gradium 的模型卡警告称，其他语言会出现发音错误。因此，无法用这对组合构建多语言语音助手：识别在日语中可用，合成则不行。

Gradium 的答案是 Phonon 40M 系列，涵盖英语、法语、德语、西班牙语和葡萄牙语。这是五种语言，不是 99 种；而且 40M 检查点采用 CC BY-NC 4.0 许可——没有单独协议就无法用于商业产品。开源 ASR 与开源 TTS 之间的多语言差距是整个技术栈中最大的差距之一，而本月发布的任何内容都未能弥合这一差距。

它们在实际产品中交汇的地方

最自然的应用是一个转写与回放工具：录制会议或语音笔记，用 Whisper 将其转写，再用 Phonon 把摘要朗读出来。两者都在本地运行，都采用宽松许可证，而且都不会把音频发送给第三方。医疗听写工具、现场录音器、面向聋人和听障用户的无障碍应用，或者离线语言学习玩具，都符合同样的形态。

第二个应用是一个语音智能体，采用本地优先处理、云端兜底的方案。Whisper 在设备上转写；如果置信度低，音频会发送到托管 ASR。语言模型起草回复；如果需要更大的模型，请求会路由到外部。Phonon 朗读结果；如果设备因过热而降频，托管的 TTS 会接管。每个环节都有本地和远程选项，产品会按请求决定使用哪一个。

它们之间的文本层

Whisper 生成文字记录，Phonon 使用脚本，必须要有某个环节将前者转化为后者。这个环节就是语言模型，而它也是整个循环中唯一能从大规模参数中获益的部分。

OrcaRouter 并不托管这两个模型中的任何一个——Whisper Large v3 Turbo 通过你自己的推理栈运行，而 Phonon 在设备上运行——因此两者都不会出现在我们的目录中。平台覆盖的是中间层：一个 API，以提供商标价提供 200 多个语言模型，0% 加价，并支持跨提供商自动故障转移，以及一个路由 DSL，可以把常规轮次交给便宜的模型，把困难轮次交给更强的模型。在离线优先的设计中，这一层正是保持在线的那部分。

实际该比较什么

如果你在选择语音模型，就把 Phonon 与其他 TTS 系统比较，把 Whisper Turbo 与其他 ASR 系统比较。如果你在构建产品，就比较整个链路：总内存、总延迟、总许可证、总语言数。按这个标准，这一组合对于仅英语、离线、宽松许可证的工作是自洽的，而对于 40M 级别的任何多语言或商业用途则不自洽。

要避免的错误是：看到 Phonon 的 0.51% WER 与 Whisper 的 7.83% 并列，就断定语音合成已经超越了语音识别。这些数字由不同的流程产生，衡量的是不同的东西，而且其中一方还是由另一方来衡量的。真正有用的问题不是哪个模型更好，而是你本月能用开放组件搭建出的闭环，是否足以支撑你设想的产品——而对于在笔记本电脑上离线处理英语这一场景，答案刚刚变了。