Phonon 對比 Whisper Large v3 Turbo：離線語音迴圈的兩半

將Phonon 31M與Whisper Large v3 Turbo相比，是一種範疇錯誤，而它正是目前語音工程中最有用的範疇錯誤。Phonon 31M 由 Gradium 於 2026 年 10 月 20 日發布，可將文字轉為音訊。Whisper Large v3 Turbo 由 OpenAI 於 2024 年 10 月 1 日發布，可將音訊轉為文字。兩者並不競爭。它們是同一迴圈的兩端，而且兩者都小到、快到足以在你擁有的硬體上運行。

這種配對之所以讓人困惑，還有第二個原因。兩者都會公布一個稱為 WER 的數字，而這兩個數字的意思正好相反。對 Whisper 而言，詞錯誤率衡量的是轉錄出錯的頻率。對 Phonon 而言，它衡量的則是轉錄器聽錯模型所生成語音的頻率。兩者在數值越低時都越好，但它們並不是同一種測量，而把它們放在同一欄，正是做出糟糕比較的方式。

一個人聆聽，一個人說話

Whisper Large v3 Turbo 是一個語音辨識模型。它保留 Whisper large-v3 的完整編碼器，並將解碼器從 32 層縮減至四層，產生 8.09 億個參數，而非 15.5 億個。它涵蓋 99 種語言、可自動偵測語言，且未針對翻譯進行訓練。OpenAI 的文件將其描述為比大型模型快約八倍，但準確度略有損失；該公司並未在模型卡上公布精確倍數，因此任何確切的速度數字均來自第三方測試。

Phonon 31M 是一款語音合成模型。它接收文字與音色，透過對 Mimi 潛在表徵進行 flow-matching 的 transformer，產出 24 kHz 單聲道音訊。不含 tokenizer 的話，它有 3,100 萬個參數，以 64.5 MB 的 q8 GGUF 形式發布，採用 Apache 2.0 授權。它完全不具備聆聽能力——無法轉錄、無法進行語者分離，也無法偵測語言。

他們唯一共享的是設計目標：兩者都旨在無需資料中心即可運行。Whisper Turbo 是這個已成為預設開放 ASR 基準的家族中快速、低成本的一員。Phonon 則試圖讓合成那一半也同樣低成本。

同樣的三個字母，兩種不同的測量

Whisper Large v3 Turbo 在英文 Open ASR Leaderboard 上回報的平均 WER 為 7.83，而完整的 large-v3 則為 7.44。在 LibriSpeech test-clean 上，數字約為 2.0%。這些數字描述的是模型在聽到清晰語音時，寫錯字的頻率。

Phonon 31M 在其模型卡中回報 Seed-TTS 上為 0.51%、在更困難的測試集上為 1.5%，而在發布部落格中則回報同一困難測試集上為 1.70%。這些數字描述的是 whisper-large-v3 在聽到 Phonon 的輸出時，寫錯字的頻率。請注意，評分器正是 Whisper 本身。Gradium 的方法論以一種無可避免的方式陷入循環：要衡量一個 TTS 模型，你需要一個 ASR 模型，而 ASR 模型自身的錯誤率，為 TTS 模型看起來能有多好設下了下限。

這就是為什麼 TTS 的 WER 0.5% 與 ASR 的 WER 7.8% 不能相提並論，也是為什麼低於約 1% 的 TTS WER 應該解讀為「轉寫器毫無困難」，而不是「語音近乎完美」。人類聽者與自動評分器的判斷並不一致，尤其是在韻律方面，而這是 WER 無法捕捉的。

• 任務 — 為 Phonon 31M 提供文字轉語音；為 Whisper Large v3 Turbo 提供語音轉文字。

• 參數 — Phonon 31M 為 31M（不含分詞器）；Whisper Large v3 Turbo 為 809M。

• 語言 — Phonon 31M 僅支援英文；Whisper Large v3 Turbo 支援 99 種語言。

• 輸出 — 24 kHz 單聲道音訊，供 Phonon 31M 使用；附時間戳記的文字，供 Whisper Large v3 Turbo 使用。

• 回報準確率 — {{1}}Phonon 31M 的 Seed-TTS WER 為 0.51%{{/1}}，由 Whisper 測量；{{2}}Whisper Large v3 Turbo 在 Open ASR Leaderboard 上的平均英文 WER 為 7.83{{/2}}。

• 授權條款 — Phonon 31M 採用 Apache 2.0；Whisper Large v3 Turbo 採用 MIT。

評估離線語音迴路的規模

如果目標是要做出在網路斷線時仍可運作的語音助理，物料清單上會有三個模型，而不是兩個：語音辨識、語言生成，以及語音合成。

Whisper Large v3 Turbo 有 8.09 億個參數，在 16 位元精度下約有 1.6 GB 的權重。GPU 推論通常會保留數 GB 的工作記憶體用於激活值與批次處理；量化的 GGUF 版本會以小幅精度損失進一步縮小佔用空間。就 Turbo 形式而言，它並非手機等級的模型，不過較小的 Whisper 變體與蒸餾版本則是。

Phonon 31M 的大小為 64.5 MB。那大約是 Whisper Turbo 權重檔案的二十五分之一，而且它可以在單一 CPU 核心、iPhone Neural Engine 或 Raspberry Pi 上執行。

{{1}}中間的語言模型是變數。{{/1}}一個 1B 到 4B 的指令模型量化為四位元後，只佔幾 GB，是離線助理的常見選擇。{{2}}完整迴圈——Whisper Turbo、小型指令模型、Phonon——落在筆電或高階手機可容納的範圍內，其中 ASR 是最重的元件。{{/2}}

這種不對稱才是實用的洞見。大家所擔心的那半個循環——合成，也就是必須聽起來像人的那部分——如今已成為便宜的那一半。辨識才是昂貴的那一半。

延遲預算

Phonon 的廠商數據指出，在 MacBook Air M5 核心上首個音訊延遲為 5 到 7 毫秒，在 iPhone 16 Pro 上則為 9 毫秒；吞吐量介於即時速度的 11.6 倍到 41 倍之間，取決於你讀的是 Gradium 的哪一份文件。Whisper Turbo 的速度在很大程度上取決於硬體和後端：OpenAI 形容它比 large-v3 快約八倍，而採用量化版本的社群基準測試則回報，在 Apple 晶片上可達即時速度的數十倍，在 CPU 上則慢得多。

在對話式迴圈中，辨識步驟佔據主導地位。一段三秒鐘的語音，在筆記型電腦 GPU 上轉錄只需幾百毫秒，在效能較弱的 CPU 上則接近即時。相較之下，語音合成步驟幾乎是瞬間完成。先最佳化 TTS 的團隊，其實最佳化錯了環節。

語言涵蓋範圍是硬性限制

Whisper 支援 99 種語言。Phonon 31M 只支援一種，而 Gradium 的卡牌更警告其他語言會發錯音。因此，無法用這對組合打造多語言語音助理：日語的辨識行得通，語音合成卻不行。

Gradium 的答案是 Phonon 40M 系列，涵蓋英語、法語、德語、西班牙語與葡萄牙語。那是五種語言，不是 99 種，而且 40M 檢查點採用 CC BY-NC 4.0 授權——若無另行協議，無法用於商業產品。開源 ASR 與開源 TTS 之間的多語言落差，是整個技術堆疊中最懸殊的缺口之一，而本月發布的任何東西都未能填補它。

它們在真實產品中交會的地方

最自然的應用程式是轉錄與播放工具：錄製會議或語音備忘，用 Whisper 將其轉錄，再用 Phonon 朗讀摘要。兩者都在本機執行、都採用寬鬆授權，且都不會把音訊傳送給第三方。醫療聽寫工具、現場錄音器、為失聰與聽障使用者設計的無障礙應用程式，或離線語言學習玩具，都符合相同的形態。

第二個應用程式是語音代理，採本地優先處理、雲端備援。Whisper 在裝置端轉錄；若信心不足，音訊會送往託管 ASR。語言模型草擬回覆；若需要更大的模型，請求會路由至外部。Phonon 朗讀結果；若裝置因熱而降頻，託管 TTS 會接手。每個階段都有本地與遠端選項，產品會依每次請求決定使用哪一個。

它們之間的文字圖層

Whisper 產出逐字稿，Phonon 消費腳本，而必須有某個東西把前者轉變成後者。那個東西就是語言模型，而它是這整個迴路中唯一受益於龐大規模的部分。

OrcaRouter 並未託管這兩個模型——Whisper Large v3 Turbo 是透過你自己的推論堆疊執行，而 Phonon 則在裝置上執行——因此兩者都不會出現在我們的型錄中。平台涵蓋的是中間這一層：以供應商列表價、0% 加價，透過單一 API 使用超過 200 個語言模型，並可跨供應商自動容錯移轉，以及一套路由 DSL，能把例行回合交給便宜的模型、把困難的回合交給更強大的模型。在離線優先的設計中，這一層正是維持上線的部分。

實際上該比較什麼

如果你正在挑選語音模型，請將 Phonon 與其他 TTS 系統比較，並將 Whisper Turbo 與其他 ASR 系統比較。如果你正在打造產品，請比較整體迴圈：總記憶體、總延遲、總授權數、總語言數。以此衡量，這組搭配對於僅限英語、離線、寬鬆授權的工作是自洽的，但對於 40M 層級中任何多語言或商業用途則是不自洽的。

要避免的錯誤，是把 Phonon 的 0.51% WER 和 Whisper 的 7.83% 並排一看，就下結論說合成已經超越辨識。這些數字由不同的流程產生、衡量的是不同的事物，而且其中一個還是由另一個來衡量。有用的問題不是哪個模型更好，而是你這個月能用開放元件拼出的迴圈，對你心中構想的產品是否夠好——而針對英文、離線、在筆電上，答案才剛剛改變。