Nemotron 3.5 Transcribe：NVIDIA 的語音 LLM 擊敗說話者分群串接方案——涵蓋 13 種語言

NVIDIA 推出了Nemotron 3.5 Transcribe，於 2026 年 10 月 28 日以開放授權形式釋出，而所有關於它的新聞標題裡出現的數字都是 40：四十種語言、單一檢查點、內含講者標籤。真正會改變你如何建構轉錄堆疊的數字是 15.80。那是該模型在 NVIDIA 自家多人語者基準集上的平均 cpWER，相較之下，該公司用來對比的最佳專門化級聯方案為 16.83 —— 那是一套語音辨識器加上獨立的語者分段（diarisation）管線，以大多數量產會議轉錄系統至今仍採用的方式串接起來。NVIDIA 聲稱這是第一個能勝過這種配置的語音 LLM，而這正是值得驗證的宣稱，因為它是讓你從架構中移除一個元件，而不是在清單上多加一種語言。

40 種語言的數字是真的，但實際涵蓋範圍比字面上更窄。講者歸屬——也就是取代串接式流程的那部分——只針對 13 種語言訓練，而非 40 種。這個模型只讀取錄音檔案，每次最多一小時，沒有串流處理路徑。而且它不是小體積下載：總計 34B 參數，每個 token 約有 4.3B 活躍參數，並以 H100 80GB 作為 BF16 服務的標示基準。這三項限制決定了這項語者分離結果是你能在本季使用的東西，還是只能留待下一季再考慮。

NVIDIA 實際上出貨了什麼

此檢查點是以 NVIDIA-Nemotron-3.5-Transcribe-30B-A4B 的名稱發布，而這個名稱與所公布參數量之間的落差，正是首先要釐清的事。該模型基於 Nemotron 3.5 Lightning 30B-A3B，這是一個混合 Mamba-2 與 Transformer 的專家混合語言模型；NVIDIA 的模型卡載明總計 34B 參數，其中約 4.3B 為作用中參數，包含音訊堆疊。名稱中超出 30B 的額外權重來自編碼器：ASR Transformer 約 600M，說話者編碼器約 99M，合計約 800M，使語言主幹的作用中參數約為 3.5B。有幾篇文章將此報導為不一致；這並不是不一致，而是名稱計算的是 LLM，模型卡計算的則是整個系統。

從架構上來看，值得理解的部分是平行專家編碼器。凍結的 Nemotron 3 Diarization 模型會產生說話者活動表徵，而這些表徵會注入 ASR 編碼器的輸出，因此語言模型能在單次處理中同時看到詞語，以及可能是誰在說這些詞語。接著，輕量級 CTC 適配器會將產生的文字對齊回音訊，以產生含說話者歸屬的詞時間戳。整個流程沒有第二個對齊階段，中間也不會呼叫 pyannote。原生多 token 預測在 vLLM 內同時充當推測解碼草稿，而 NVIDIA 也提供另行訓練的 DFlash2 草稿模型。

• 總參數與活躍參數——總計 34B，每個 token 約有 4.3B 活躍參數，其中約 3.5B 為語言主幹

• 上下文與音訊 — 65,536 個 token，錄音最長 1 小時、16 kHz 單聲道，以 30 秒內部區塊解碼

• 語言涵蓋範圍 — 40 種語言支援轉錄，32 種語言支援與英文互譯，13 種語言支援語者歸屬轉錄

• 授權 — OpenMDW-1.1，允許商業及非商業使用

• 服務基準 — 單張 H100 80GB，BF16；已發布 BF16、FP8 與 NVFP4 版本

• 串流 — 無；這是檔案輸入、逐字稿輸出的模型

這次發布包含兩項產物，值得將它們分開來看，因為大多數報導都把兩者混為一談。除了模型之外，NVIDIA 還發布了 Granary v2，這是一項語音資料管線的發布，而非模型檢查點：涵蓋 48 種語言、16 個來源語料庫，共 463,062 小時，相較 Granary v1 的 25 種語言大幅增加，並以 NeMo Curator 建構、隨附公開清單。每筆紀錄都帶有三種轉錄形式——文字正規化的逐字稿、含不流暢現象的逆正規化版本，以及不含不流暢現象的逆正規化版本——外加任務標籤、以語音為依據的問答對、情境偏置詞彙，以及每筆紀錄的品質標記。這是微調配方所預期的資料，而不是可以直接執行的權重。來源音訊仍須依各語料庫自身的授權條款下載，因此 Granary v2 的「開放」在於其清單與管線的開放，而非音訊可自由再散布。

授權條款的重要性不亞於權重本身。OpenMDW-1.1 允許商業使用，這使其與 Mistral 的 Voxtral 系列歸於同一等級，而非開放權重光譜中僅限研究用途的那一端。發表時的執行環境支援比多數語音 LLM 發布更為廣泛：vLLM 0.32.0 是主要途徑，也是唯一能提供完整功能集的途徑，其中詞級時間戳需要 V1 runner 與時間戳中介軟體，且不支援 DFlash2。SGLang 0.5.22 上的 SGLang-Omni 0.2.0 可透過 OpenAI 相容的音訊端點處理整檔轉錄，但不支援詞級時間戳、講者歸屬輸出、翻譯或推測解碼。NeMo Speech 提供微調工具組，Transformers 支援從原始碼安裝後於行程內使用，而 GGML 組建則涵蓋部分 Blackwell 型號，包括 RTX 5090 與 RTX PRO 6000。

語者分段結果才是關鍵

NVIDIA 的多說話者表格是進行級聯比較的地方，而且對一篇發表文章而言，細節詳盡得非比尋常。整組的平均 cpWER 為 15.80，而 DiCoW v3.3 搭配 DiariZen 則是 16.83。各條件下的數字顯示出差距從何而來、又從何而來不了：近距離通話條件下的 AMI 達到 10.29，AMI 單一距離麥克風 17.34，CALLHOME CH109 為 11.50，Mixer 6 通道 4 為 14.80，NOTSOFAR-1 近距離通話 14.94、單通道 25.91，AISHELL-4 為 32.91 cpCER，AliMeeting 則為 34.95。寬頻、多通道的會議情境表現強勁；遠場單麥克風與中文會議音訊則弱得多，而這如實描述了每個說話者分割系統都吃力之處。

NVIDIA 所仰賴、看似獨立的佐證是 VoiceArena 的 Diarization-Bench；在該基準上，此模型在英文完整會話中回報 32.4% 的 cpWER，在十四個系統中排名第一。第二名是搭配 Nemotron 3 Diarization 的 Multitalker Parakeet，為 34.2%，其餘系統則介於 34.7% 到 71.9%。NVIDIA 也回報詞刪除率為參考詞數的 8.32%，而同領域中位數約為 31%。對任何曾交付轉錄稿的人來說，第二個數字更有用：cpWER 可透過丟棄不確定的詞來操弄，而一個保留 92% 參考詞又能贏得該指標的系統，做的是更難的事。兩者都是廠商在第三方基準上回報的數字，並非對該模型的獨立評估。

限制在於語言數量。講者歸屬是針對十三種語言訓練的——英文、法文、德文、印地文、義大利文、韓文、葡萄牙文、俄文、西班牙文、日文、泰文、阿拉伯文和中文——且最多支援八位講者。如果你的錄音是英文會議，或是其他十二種語言之一，串接替換的論點便成立。如果你的音訊是波蘭文、土耳其文或越南文，你只會得到轉錄而沒有語者分離，仍然需要第二個元件。

它實際上的排名：三個排行榜，三種不同答案

英文數字取決於你讀的是 NVIDIA 哪一個頁面，而值得精確說明這件事，而不是挑選較好看的那個數字。模型卡上九個測試集的平均詞錯誤率為 4.71%，Qwen3-ASR-1.7B 以 4.94% 居次。NVIDIA 同日發布的 Hugging Face 文章則引用 Hugging Face Open ASR Leaderboard 上的平均 WER 為 5.33%，RTFx 為 462.09，而 Qwen3-ASR-1.7B 為 5.4%。兩者都是廠商自家數據，發布時間相隔數小時，差異在於平均值納入了哪些測試集。不要把它們平均，不要從一個減去另一個，也不要以為小數點後的數字已經定案。在兩種表述中都成立的是排名：在該排行榜上位居開放權重模型之首。

廠商回報的其餘資料集在型態上一致。七種語言的多語言平均 WER 為 4.62%，相較於 Qwen3-ASR-1.7B 的 6.49%。長篇平均為 10.98%，相較於 Parakeet-TDT-0.6B-v3 的 13.37%。風格控制在預設情況下得分為 7.56%，收到指示時為 6.16%，而 Canary-Qwen 則分別為 8.16% 與 8.36%。上下文提示可將 ContextASR-Bench 從無上下文時的 3.33% 降至提供細粒度上下文時的 1.71%，並在提供本地上下文時，將財報電話會議轉錄從 12.54% 降至 9.58%。

獨立檢驗所呈現的說法就沒那麼好看了，而如果你這週要在不同模型之間做選擇，那才是你該讀的那一份。在 Artificial Analysis 於 10 月 29 日查核的非串流字詞錯誤指標上，Nemotron 3.5 Transcribe 的讀數是 2.8%。同一檢視下，Voxtral Small Transcribe 3 是 2.1%，MAI-Transcribe-2 是 2.0%，而 Gemini 3.5 Transcribe 則落在 2.6%。NVIDIA 所謂「在開放權重模型中並列第一」的說法，若拿它點名的那個特定模型來比對，是站得住腳的——也就是 Voxtral Small；同一指標也顯示它為 2.8%，而 NVIDIA 形容它是 24B 模型，對比這款模型約 4B 的有效參數——但早在這款模型推出之前，排行榜就已經超越了那組對比。較新的 Mistral 同門產品 Voxtral Small Transcribe 3，在同一檢視下的錯誤率約低了四分之一。這並不代表該語者分離結果有錯，因為 Voxtral 並不是在一次處理中就進行語者歸屬。這確實意味著正確的說法應該是「語者歸屬 ASR 上最佳的開放權重模型」，而不是「最佳的開放權重轉錄器」。

每種語言各自的長尾部分，正是部署容易出錯的地方。

NVIDIA 的模型卡公布了足夠的逐語言細節，讓人看出覆蓋率與對等性這兩種主張之間的差距。語言矩陣共有 41 列；挪威語出現在其中，但沒有任務勾選標記，因此實際上只有 40 種語言被標記為 ASR。在 FLEURS 上，錯誤率從 1.41% 到 63.76%——而 63.76 是挪威語。義大利語達到 1.41，西班牙語 2.20，德語 2.73，法語 3.16，英語 3.35，阿拉伯語 6.35，印地語 7.47；日語落在 4.42 CER，韓語 2.78 CER，中文 8.62 CER。在多語言排行榜的逐語言平均值中，印地語為 9.15 OIWER，對比荷蘭語 5.96 和德語 2.81。

語碼轉換——卡片聲稱涵蓋全部 40 種語言——同樣不均衡：ASCEND 華語-英語達到 18.74% 混合錯誤率，MUCS 印地語-英語為 19.28%，MUCS 孟加拉語-英語為 35.46%，Monsoon 印地語則為 9.40% OIWER。翻譯品質的跨度也很大——FLEURS 轉英語的 BLEU 從 6.40 到 44.33，英語轉 FLEURS 從 8.70 到 42.65，CoVoST2 轉英語從 6.95 到 54.46。在 HALAS 集上的穩健性為 31.50% WER，這個數字應讓任何建立在帶口音或嘈雜現場錄音上的計畫有所收斂。

務實的解讀是：「40 種語言」是可據以規劃運算容量的涵蓋範圍宣稱，而不是可據以規劃產品的功能品質宣稱。在正式投入前，請先用你自己幾百段音訊，測試你真正關心的特定語言與特定錄音條件。模型卡本身的微調案例研究就是範本：在一項印度醫療語音基準測試上，開箱即用的錯誤率為 30.8%，在提示中指定英語與拉丁字母後降至 23.8%，再用約 245 小時資料進行適配後降至 11.8%——錯誤減少約 62%，耗費一張 GB300 的 14 個 GPU 小時。留出說話者從 22.44% 降至 12.17%，相對降低 45.8%，而 LibriSpeech test-clean 則從 1.54% 下滑至 1.69%，這是狹窄適配的常見徵兆。

營運成本，以及路由的適用位置

NVIDIA 尚未公布該模型的價格。研究頁面或模型卡上沒有每分鐘費率，權重依 OpenMDW-1.1 免費提供，且推出時的託管存取是透過 NVIDIA 自家的 NIM 端點，加上數個自行訂定費率的第三方平台。因此，成本問題其實是 GPU 問題，而相關數字異常完整。

在單張 RTX PRO 6000 Blackwell Server Edition 上，搭配 DFlash2 草稿模型的 NVFP4 版本每秒可處理多達 2,238 秒的音訊——30 秒的錄音可在 0.13 秒內回傳結果——這讓 100 小時的音訊能在不到三分鐘內處理完。這是經過最佳化的 NIM 路徑，而 NVIDIA 表示開源 vLLM 整合的速度大約只有一半。在 H100 上以 BF16 執行時，這張卡的 RTFx 數據為：雙 token 推測時 410、八 token 推測時 270、DFlash2 在 K=7 時 340，K=15 時 260。在該範圍的最高點，一個 H100 小時可處理約 410 小時的音訊，因此一千小時的轉錄大約需要兩個半 GPU 小時的運算。這是否優於託管的每分鐘費率，完全取決於你讓這張卡維持多大的飽和度：每月只有幾百小時時，閒置的 80GB GPU 反而是較昂貴的選項；唯有佇列持續滿載，成本計算才會翻轉。

以這個類別的標準來看，適應成本很低。NVIDIA 回報，針對新語言、領域或輸出風格，在單一 GPU 上每項任務需 0.5 到 2.3 GPU 小時，並在 17 項任務上進行評估；其中語言模型採用 LoRA，並對編碼器與投影層進行訓練。這個數字小到足以讓領域適應被視為部署的一部分，而非研究專案——上述醫療案例從頭到尾是 14 GPU 小時。

有一個架構上的重點，對接下來要說的事很重要：這個模型輸出的是文字，而轉錄稿之後的摘要、實體擷取與合規標記，都是普通的 LLM 工作。那個下游階段正是 OrcaRouter 涵蓋的部分——以一個 API 支援 200 多個模型，以供應商牌價零加成，當供應商在流程中途效能下降時自動容錯切換，以及一套路由 DSL，可將長轉錄稿與短片段送往不同模型，而不必每次都再額外整合。我們不自行託管 Nemotron 3.5 Transcribe；它是語音模型，由你在自己的硬體上或透過 NVIDIA 的端點執行。路由層從轉錄稿結束的地方開始。

有兩個模型同名，而只有一個是這一個。

過去一天關於這次發布所寫的內容中，有一部分談的其實是另一個檢查點。NVIDIA 也發布了nemotron-3.5-asr-streaming-0.6b，這是一個小型串流 ASR 檢查點，專為裝置端與以 CPU 為主的執行環境打造，其量化版本小到足以內建於應用程式中。它不是這個模型，不進行說話者歸因，其速度與準確度數據也不能套用到這裡。30B-A4B 語音 LLM 才是 10 月 28 日發布的那一個；0.6B 串流模型則是能在筆記型電腦上運行的那一個。如果你正在閱讀的比較文章，在 40 種語言的宣稱旁引用不到一秒的延遲或 1 GB 的下載量，那它就是把這兩者混為一談了。

誰應該現在行動，而誰應該等待？

如果你會處理以英文或另外十二種支援語者分離的語言之一錄製的會議、通話或訪談，且檔案長度不到一小時，並已具備 80GB 等級的 GPU 資源，或願意付費使用託管端點，那就立即行動。若你目前維護的是雙模型串接架構——單一檢查點、單次處理，包含說話者標籤與詞級時間戳，且授權允許商業使用——這套說法在此最具說服力。在淘汰 pyannote 之前，先用你自己的音訊評估它；上述遠場與帶口音音訊的數字，最可能令人失望。

若你需要即時串流，請暫緩，因為它沒有串流處理路徑；如果你的語言落在該 FLEURS 範圍的尾端；如果錄音超過一小時；或者如果你沒有 GPU，也不想負擔依分鐘計費的託管服務帳單，也請暫緩。如果你的技術堆疊已採用較新的轉錄器，且在 Artificial Analysis 上測得較低錯誤率，且不需要語者分離，同樣請暫緩——單遍說話者歸屬是值得遷移的原因，而且這是唯一的原因。

值得關注的未解問題範圍狹窄且可核查。獨立的全精度評估仍然稀少；來自運行社群 4 位元量化版本者的早期報告描述了常見的減速與準確率損失，這更多說明的是量化本身，而非模型。SGLang-Omni 必須先達到功能對等，非 vLLM 路線才算是真正的替代方案。而十三種語者分離語言是最可能率先變動的那個數字，因為架構主張正是集中於此。