Nemotron 3.5 Transcribe 對比 Whisper Large v3 Turbo：為了一個 WER 點，模型佔用量達 40 倍

如果你的轉錄工作是一堆三分鐘的單聲道訪談片段，而你手邊的機器是 24GB 工作站顯卡，那麼 Nemotron 3.5 Transcribe 與 Whisper Large v3 Turbo 的比較，在準確度還沒進場之前就已勝負分明。NVIDIA 的新模型是一套 340 億參數的語音系統，曾在 80GB 加速器上驗證。OpenAI 的 turbo 變體則是 8.09 億參數的模型，可放進 0.8GB 的 int8 權重，並在 CPU 上執行。它們本週會被拿來比較，是因為兩者的錯誤率相差約一個百分點，而這是這組對比中最沒有用的一項事實。

Nemotron 3.5 Transcribe 於 2026-10-28 以開放權重形式發布，採用 OpenMDW-1.1 授權，允許商業使用。Whisper Large v3 Turbo 則是 2024-10-01 推出的，採用 MIT 授權；這不是什麼新聞，而是每個新語音模型都會被拿來衡量的基準。這篇文章要回答的問題，不是哪一個分數更高——兩家廠商都希望你這樣解讀——而是哪一個你能真正跑得動、成本多少，以及在你手上的音訊上表現如何。

每個模型實際上究竟是什麼

架構上的差異並不是世代落差，而是類別上的差異，而這幾乎解釋了所有下游的取捨。

• 架構 — 一種混合 Mamba–Transformer 的混合專家（mixture-of-experts）LLM，內建語音編碼器與一個凍結的 99M 語者分離（diarization）編碼器，總參數約 34B，每個 token 啟用 4.3B；相較之下，一個從 large-v3 蒸餾而來的 encoder–decoder，其解碼器從 32 層削減到 4 層。

• 音訊視窗 — 長達一小時的錄音以單次處理完成，而非固定 30 秒視窗、超過此長度時改用分塊長篇解碼。

• 講者標籤 — 內建於輸出中，最多支援 8 位講者、涵蓋 13 種語言，相較之下完全沒有這項功能；Whisper 的詞彙中沒有講者符記，因此必須另用獨立的講者分離器。

• 詞級時間標記 — 輕量級 CTC 適配器會將完成的逐字稿與音訊對齊，相較之下僅有段落層級的時間戳記權杖，而詞級時間則需要強制對齊。

• 語言涵蓋範圍 — 可轉錄 40 種語言、可與英文互譯 31 種、具講者標註 13 種；相較之下，則有 99 種語言可轉錄但不提供翻譯。

• 磁碟上的權重 —— 在 OpenMDW-1.1 下，BF16 格式約 68GB；相比之下，fp16 為 1.6GB、int8 為 0.81GB，皆採 MIT 授權。

準確度數字對不上，而這正是重點所在

Artificial Analysis 經營唯一一個會讓這兩個模型以同一尺度呈現的公開指數，而它的數字值得仔細閱讀，因為這些數字彼此並不一致。在排行榜表格中，Whisper Large v3 Turbo 在一個快速推論端點上列為 4.6% AA-WER，在第二個端點上則列為 5.5%。Nemotron 3.5 Transcribe 在一個託管端點上列為 3.4%。NVIDIA 自家的公告引用 2.80% AA-WER，並列開放權重模型第一；而同一個排行榜的文字說明區段重複寫出 2.8%，其表格卻標示 3.4%——在任何人開始比較供應商之前，同一頁面內就已出現不一致。

若照表格表面數字來看，Nemotron 3.5 Transcribe 大約好 1.2 個百分點。但請注意，Whisper Large v3 Turbo 自身的兩筆資料在相同模型上就相差 0.9 個百分點。這兩個系統之間表面上的大部分差距，其實來自端點設定——批次處理、解碼設定、音訊前處理——而非架構。任何把單一 WER 差異當成定論的人，引用的都是一個換個主機環境就會變動幾乎相同幅度的數字。

Open ASR Leaderboard 所呈現的故事聽起來更宏大。Whisper Large v3 Turbo 的英文短音訊平均表現在該榜上約為 7.8%，而 NVIDIA 在其研究頁面上報告其模型在九個測試集上為 4.71%，並在隨附的 Hugging Face 貼文中報告平均英文 WER 為 5.33%。這些是不同的測試混合資料，且使用不同的正規化方式，因此這三個百分點的差距充其量只是方向性參考。更重要的是不存在的事物：與 Whisper Large v3 Turbo 的廠商正面對決。NVIDIA 將其模型與串接式語者分離系統以及其他開放權重語音模型相比，而非與現今多數團隊正在使用的 turbo 檢查點相比。市面上流傳的每一個「擊敗 Whisper」數字，都是跨基準測試的推論，包括我們自己的在內。

Whisper 無法彌補的能力落差

暫且不談提示驅動的輸出，真正的關鍵差異在於：Nemotron 3.5 Transcribe 能在單次處理中產出帶有說話者標註的逐字稿。說話者標籤來自已融合進音訊特徵的凍結說話者分離編碼器；回應會在標註逐字稿之外，一併帶出原始說話者分段，而模型會將這些分段標示為 <spk:0> 到 <spk:7>。對雙人播客來說，這只是便利功能；但對 60 分鐘的紀律聽證會、臨床就診或多方銷售通話而言，這正是產品價值所在。

Whisper Large v3 Turbo 完全無法表達說話者。它的訓練轉錄稿從未帶有說話者標籤，而且輸入會被降混成單聲道 16kHz，這破壞了唯一可能倖存的物理線索。要求它產生標籤，只會得到看似正確、但在音訊中毫無依據的文字。標準的變通做法是 WhisperX：以強制對齊取得詞級時間，再加上另行託管的說話者分離模型，並在片段邊界接合。它確實可行、也已被廣泛部署，但它是三個運作元件，而 Nemotron 3.5 Transcribe 只有一個。

同樣的結構性優勢也適用於長音訊。單次處理一小時，勝過拼接 30 秒的視窗，而視窗拼接有一個已知的失效模式：不使用時間戳記詞元進行解碼，幾乎會在每個邊界漏掉詞語——一場實測的 20 分鐘演講就這樣流失了約 3% 的詞。Nemotron 3.5 Transcribe 的 CTC 適配器正是為了避免這類錯誤而存在，不過要注意，詞級時間戳記並不在最初的 vLLM 支援範圍內。

在它為之打造的任務上，NVIDIA 公布的數字很強勁，且屬於廠商自行報告：在 David AI 語者分離基準上，21 種語言的 DER 為 18.26%，被描述為 14 個系統中最佳；在 VoiceArena 上，cpWER 為 32.4%，同樣是 14 個中最佳。提示中提供的上下文實體清單，被歸功於讓 ContextASR-Bench 上的命名實體錯誤減少六倍。這些都尚未有獨立重現，而且全都是關於一個才問世一天的模型的說法。

Whisper Large v3 Turbo 依然完全勝出的地方

語言廣度是第一項答案，而且它比聽起來更不無聊。Whisper Large v3 Turbo 涵蓋 99 種語言。Nemotron 3.5 Transcribe 涵蓋 40 種語言用於轉錄、31 種用於翻譯，以及 13 種用於講者歸因。如果你的佇列包含哈薩克語、泰米爾語、斯瓦希里語或威爾斯語，比較到此為止：turbo 模型能轉錄這些語言，而較新、較大的模型則未聲稱能做到。

第二個答案是部署摩擦。Whisper Large v3 Turbo 可在 whisper.cpp、faster-whisper 和 MLX 下執行，能在 CPU、筆記型電腦或 Jetson 上跑。Nemotron 3.5 Transcribe 則需要 vLLM 0.32.0 加上 NeMo Speech 外掛，或 SGLang-Omni 0.2.0，並在 BF16 的 80GB H100、FP8 的 L40S，或 NVFP4 的 RTX 5090 上運行。這些維運承諾根本不能相提並論。

第三點是，turbo 的價格是公開、單調的每小時費率。託管端點每音訊小時收費約 0.04 美元，最低以十秒計費，而且在快速端點上約以 250 倍即時速度執行。一千小時的音訊約需 40 美元。Nemotron 3.5 Transcribe 並未公開完整檢查點的定價，而搭載它的託管端點也不公布每分鐘費率。

檢查你正在對哪個 Nemotron 3.5 進行基準測試

本週報導中最常見的錯誤，就是拿錯模型來比較。已發表的大量「Nemotron 3.5」比較，其實評估的是 nvidia/nemotron-3.5-asr-streaming-0.6b——這是較早版本推出的 0.6B 快取感知串流模型，有其自身的數據與弱點。如果表格提到 80ms 到 1120ms 的區塊，那測的就不是 Nemotron 3.5 Transcribe。這點很重要，因為在真實世界的比較中，這個串流模型在原始準確率上輸給 Whisper Large v3 Turbo（在某個多語言排行榜上是 3.35% 對 2.55%），在詞對齊方面更是大幅落後；而本文討論的模型則是不同的非串流 34B 系統。

第二個陷阱是服務部署。簡單路徑 SGLang-Omni 0.2.0 讓你無需 NeMo 就能取得可用的端點，但也沒有時間戳、講者標籤或翻譯。完整路徑 vLLM 0.32.0 搭配 NeMo Speech 外掛，則三者俱全，但字詞級時間戳是後續才加入，而非在第一個 PR 中提供。因此，三個名為「Nemotron 3.5 Transcribe」的部署配方，行為可能像三款不同的產品。如果你轉換的原因是講者歸屬，請在投入工程時間之前先驗證那條路徑。

老實說，要花多少錢才能運作

就託管服務而言，比較起來幾乎毫無懸念：Whisper Large v3 Turbo 每音訊小時約 0.04 美元，也就是每千小時約 40 美元，且無需自有硬體。Nemotron 3.5 Transcribe 目前尚未以這種方式銷售，因此想採用它的團隊，評估的是 GPU 成本，而非服務帳單。

NVIDIA 自己宣稱的吞吐量是運算底線：每秒 GPU 時間可處理 2,238 秒音訊，在 RTX PRO 6000 Blackwell 上以 NVFP4 搭配 DFlash2 推測解碼器，換算下來約莫三分鐘內就能處理 100 小時音訊。以隨需約每 GPU 小時 2 美元計算，這意味著每音訊小時的成本底線遠低於一美分——前提是完全批次化，而正式的生產佇列並不是這樣運作。請把它視為硬體能力的上限，而不是你實際能達到的速率。

這意味著真正的比較並不是 Whisper Large v3 Turbo 對上 Nemotron 3.5 Transcribe，而是 Nemotron 3.5 Transcribe 對上 Whisper Large v3 Turbo，再加上一個說話者分離模型、一個強制對齊器、區段合併程式碼，以及把這些東西黏合起來所需的逐語言調校。如果你已經在生產環境中運行 WhisperX，你已經支付了大部分這類成本，切換的理由就比 WER 差距所顯示的更弱。如果你還沒建置這套流程，這個 30B 模型就是在與一套你原本還得配置人力維護的管線競爭。

給任何在移轉期間同時運行兩套系統的人一個實用提醒：把兩個轉錄後端放在同一個 OpenAI 相容端點之後，就能讓切換變成改設定，而不是再多簽一份廠商合約。這正是 OrcaRouter 存在要提供的層級——它所路由的各家供應商之間，共用一組金鑰和一個端點，並以 0% 加成轉嫁供應商牌價，還能在它們之間自動容錯移轉。這不會改變哪個模型比較好。它改變的是弄清楚這件事要花多少成本，以及押錯邊要付出多少代價。

誰應該選哪個？

• 適用於多位講者且具稽核軌跡的會議、法律、臨床或聯絡中心錄音 — Nemotron 3.5 Transcribe。一次處理即可完成講者歸屬與逐詞時間定位，而這正是你原本得自行整合的能力；一小時視窗更完全免去分段邏輯。

• 大批量單聲道音訊、廣泛語言覆蓋、筆記型電腦或 CPU 部署、可預測的每小時計費——Whisper Large v3 Turbo。它擁有 809M 參數，每小時 $0.04，對很大比例的真實流量而言是最便宜的正確答案，而且已歷經兩年實戰驗證。

• 混合工作負載 —— 全部先交給 turbo 處理，只把需要區分講者、術語表或翻譯的音訊，交由較大的模型處理。選擇的依據是音訊本身的特性，而不是模型的名氣：講者數量、是否包含領域詞彙表，以及錄音長度。

遷移前值得問的問題

Nemotron 3.5 Transcribe 可以在單張 24GB GPU 上執行嗎？

並不輕鬆。NVIDIA 已在 80GB 的 H100 上驗證 BF16、在 L40S 上驗證 FP8，並在 RTX 5090（一張 32GB 的顯示卡）上驗證 NVFP4 檢查點。24GB 的裝置低於每一種已驗證的配置，而且音訊塔會被複製到每一個張量平行 rank 上，因此多 GPU 分片也救不了單張小顯卡。

Whisper Large v3 Turbo 會進行說話者標記或翻譯嗎？

兩個都不是。turbo 變體只以轉錄資料訓練，所以拿它執行翻譯任務會產出無法使用的結果——翻譯需要完整的 large-v3 檢查點。說話者標籤則需要獨立的語者分離工具，例如 pyannote，而把它切分出的發言段落與 Whisper 粗略的區段時間戳對齊，正是整套流程中最耗時、也最難做對的部分。

參數差距是否會以延遲的形式顯現？

不是每分鐘音訊，不是。Whisper Large v3 Turbo 在快速的託管端點上，回傳 30 秒的音訊區段只需遠不到一秒；而 Nemotron 3.5 Transcribe 以單次處理完成一小時的檔案，吞吐量達到 NVIDIA 所描述的每 GPU 秒數千音訊秒。明顯的差異在別處：turbo 沒有串流模式，Nemotron 3.5 Transcribe 也沒有，因此即時字幕對兩者都不在適用範圍內。

哪一個對非英語音訊來說更好？

兩種答案都不保險。Whisper Large v3 Turbo 涵蓋 99 種語言，但品質因語言不同而有很大差異；Nemotron 3.5 Transcribe 則涵蓋 40 種語言，並提供廠商自行報告的多語言結果與一套調適配方——NVIDIA 指出，在單一 GPU 上微調數小時後，某個保留的醫療領域 WER 從 22.44% 改善到 12.17%。目前還沒有獨立的多語言正面對決比較，因此對英文以外的任何語言，負責任的做法是用你自己的音訊做盲測。

什麼會改變這個判決？

三件事，按可能性由高到低排列。詞級時間戳記進入 vLLM 的轉錄 API，將使完整服務路徑成為預設，並縮小三種部署方案之間的差距。量化檢查點廣泛推出，將把硬體門檻從 80GB 顯示卡下移至消費級裝置。而與 Whisper Large v3 Turbo 進行真正獨立的多語言正面對比，將以實測取代推測。

在其中之一真正實現之前，這個決定並不是差在十分之一個 WER 分數點上。關鍵在於你的音訊：如果裡面有不只一個聲音，而你需要知道哪個聲音說了什麼，Nemotron 3.5 Transcribe 是第一個能在單次處理中做到這件事、背後不必再接一套管線的開放模型。如果沒有這種需求，一年前推出的 809M 模型每千小時四十美元仍能勝任；而 34B 模型則需要投入大量硬體，只為了一個會因更換主機而變動的數字。