Granite Speech 5.0 2B：IBM 新款 ASR 模型在 Hugging Face 上默默上架兩週後，IBM 才對外宣布

這個儲存庫是為Granite Speech 5.0 2B所建立，建立日期為2026 年 10 月 7 日。權重於同日晚間提交，提交訊息只寫著「Upload granite-speech-5.0-2b checkpoint.」。模型卡接著就在那裡放了十三天，期間公開進行編輯——13 日新增基準測試圖表，19 日標上發布日期與官方排行榜結果，20 日加上模型簽章檔——直到 IBM 發布真正宣布它的部落格文章，日期為2026 年 10 月 21 日。我寫下這段話時，那篇部落格文章才發布一天，而它仍是 IBM 在任何地方對該模型唯一說過的事：沒有新聞稿，沒有 ibm.com 公告頁，Granite 產品網站上除了通用登陸頁之外也別無他物。像這類發布背後有紀錄的 AI 失誤與代理事件，都彙整在OrcaRouter AI 事件檔案庫中，每筆條目都附有自己的來源、嚴重程度、可信度等級與爭議標記。

所以誠實的描述既不是「未經宣布」，也不是「盛大發布」。它是一個悄悄開放下載了兩週的模型，其模型卡是公開撰寫的，而且直到本文發布前一天才正式公告。以下將區分哪些部分是可查證的，哪些部分仍然只是 IBM 的單方面說法。

檢查點裡實際上包含什麼？

Granite Speech 5.0 2B 是一款語音語言模型：由 Conformer 聲學編碼器透過投影器將輸入饋送給小型語言模型。它是 granite-speech-4.1-2b 的直接後繼版本，後者於 2026 年 4 月 29 日推出，具有相同的參數量與相同的 Apache 2.0 授權。

• 大小與格式 — 2B 參數、BF16 safetensors、Apache 2.0，儲存庫無存取限制。

• 編碼器 — 16 個 Conformer 區塊，使用 CTC 訓練，並具備兩個分類頭：348 個字元輸出（前 256 個 ASCII 項目，加上供日文使用的 92 字元語音片假名集），以及取自 Granite 4.0 分詞器的 100,353 個 BPE 輸出。隱藏層大小 1,024，8 個大小為 128 的注意力頭，卷積核大小 15，四秒區塊注意力。

• Projector — 一個兩層視窗查詢 Transformer，處理由十五個 1,024 維聲學嵌入組成的區塊，每個區塊與每個層各有三個可訓練查詢。它在編碼器的 2× 降採樣之上再進行 5× 降採樣，因此語言模型看到的是 10 Hz 的嵌入，而不是 100 Hz 的幀。

• 語言模型——granite-4.0-1b-base 的中間檢查點，已使用 YaRN 擴展至 16k 個位置，並搭配與投影器聯合訓練的 LoRA 適配器。

• 訓練 — 約 390,000 小時的公開與合成音訊，在 IBM 的 Blue Vela 叢集上使用 8 張 NVIDIA H100 總計 40 天（26 天編碼器訓練、14 天投影器訓練）。

• 語言 — 英文、法文、德文、西班牙文、葡萄牙文與日文可用於轉錄；這六種語言可與英文互譯，另可將英文翻譯成義大利文，以及將英文翻譯成中文（普通話）。

390,000 小時是決定這個模型擅長什麼的最關鍵數字。模型卡對此做了拆解，而最大的單一區塊並不是乾淨的朗讀語音：LibriHeavy 提供 45,600 小時無標點音訊，另有 45,800 小時含標點音訊；VoxPopuli Granary 則新增 24,000 小時，加上 23,900 小時含標點音訊；接著還有 59,900 小時是 IBM 所謂的脈絡式 ASR——將相同語料重新切分，並在提示前加上帶雜訊的前一段脈絡。另有 7,100 與 16,500 小時分別是歐洲與日語語言群組中的關鍵詞偏置 ASR。這種組合正是為何最受矚目的改善在於標點、大小寫、穩健性與關鍵詞偏置，而非乾淨英文上的原始詞錯誤率。

5.06% 這個數字，以及它下方的細則文字

IBM 的頭條宣稱是5.06% 的平均英文詞錯誤率，涵蓋 Open ASR Leaderboard 的九個公開短格式測試集，並稱其排名在頂尖開放權重 ASR 模型中位列第 2。模型卡以不同標籤發布同一數字——「截至 2026 年 10 月 20 日的官方結果」——而公告部落格則稱底層執行為「非官方，截至 2026 年 10 月 15 日」。這兩種描述相差五天和一個形容詞，且 IBM 以外無人重現過其中任何一項。

卡片附帶的比較圖表值得仔細閱讀，因為其篩選規則發揮了很大作用。圖中顯示了按平均 WER 排名前十的開放權重模型，每個機構各一個，其中 Granite Speech 5.0 2B 位列第二：

• #1 Qwen3-ASR-1.7B-hf — 平均 WER 為 4.94%。

• 第 2 名 Granite Speech 5.0 2B — 5.06%。

• #3 cohere-transcribe-03-2026 — 5.21%。

• #4 Hojo-ASR-V1 與 #5 higgs-audio-v3-stt — 各 5.22%。

• 第 6 名 thewhisper-large-v3-turbo — 5.24%。請注意，這是一個借用 Whisper 名號的社群檢查點，而非 O​penAI 的 whisper-large-v3-turbo，後者在同一份排行榜上得分為 7.83%。兩者經常被混為一談，而這種混淆會美化你正在閱讀的那份比較。

• #7 canary-qwen-2.5b — 5.38%；#8 ARK-ASR-0.6B — 5.44%；#9 MOSS-Transcribe-Diarize — 5.54%；#10 Voxtral-Small-24B-2507 — 5.81%。

由此可得出兩點。第一，與領先者的差距是 0.12 個百分點；而在九個測試集上，這落在因不同解碼設定所產生的雜訊範圍內——這其實是並列第一，卻被描述成第二名。第二，從 #2 到 #6 的差距是 0.18 個百分點。在乾淨的英文上，無論是什麼讓這些模型有所區別，那都不是準確度。IBM 真正的賣點一定在別處，而事實也是如此。

當增益大到足以產生影響時：雜訊與距離

FFASR 排行榜衡量的是噪音與混響語音——近場、高 SNR、中等 SNR 與低 SNR 條件平均在一起的結果。這項評測正是 5.0 世代與 4.1 世代拉開差距的地方，而且差距大到你能實際感受到；它是本次發布中最有用的數字。

• Granite Speech 5.0 2B — 平均 WER 為 14.80%，在排行榜上的 42 個模型中排名第 4（結果截至 2026 年 10 月 18 日）。

• granite-speech-4.1-2b-nar — 15.16%，第 6 名。

• granite-speech-4.1-2b — 16.35%，第 9 名。

作為對照：whisper-large-v3 在同一排行榜上為 18.02%，而 nvidia/parakeet-tdt-0.6b-v2 為 17.66%。

這代表在遠場與嘈雜音訊上，比前一版改善了 1.55 個百分點——相當於錯誤率相對降低約 9.5%——而乾淨英文的平均錯誤率則從 5.33% 降至 5.06%，相對降幅約 5%。換句話說，在人們實際部署轉錄功能的環境裡——會議室、客服中心、筆電麥克風、遠距平板麥克風——改善幅度大約是兩倍。如果你的 ASR 技術堆疊在錄音室音訊上已經表現良好，卻在會議室裡崩潰，這個版本正是針對你。

標點符號已改善；大小寫則未改善。

卡片中唯一的數值表格，比較 5.0 與 4.1 在標點錯誤率（PER，越低越好）和大小寫 F1（越高越好）上的表現；這些數值是以 Levenshtein 對齊的詞對為基礎計算，而非以整句計算。請判讀每一列的方向，因為整體情況並不均一。

• LScln — 本益比 25.70 → 23.20；Cap-F1 89.71 → 90.16。

• LSoth — PER 22.27 → 21.22；Cap-F1 91.26 → 91.65。

• VoxPopuli — PER 24.86 → 23.70，但 Cap-F1 95.35 → 95.07。

• Earnings-22 — PER 22.87 → 21.64，但 Cap-F1 95.19 → 94.98。

• CV-EN — PER 9.13 → 9.18（略為變差）；Cap-F1 96.75 → 96.96。

• CV-DE — PER 3.66 → 3.65；Cap-F1 99.50 → 99.51（德文會將名詞首字母大寫，這就是為什麼這一列近乎完美）。

• CV-ES — PER 11.61 → 11.46，Cap-F1 95.68 → 95.62。

• CV-FR — PER 11.00 → 11.43（較差）；Cap-F1 97.25 → 97.20。

• CV-PT — PER 7.86 → 7.53；Cap-F1 98.51 → 98.48。

標點符號在九組中有七組朝正確方向改善；大小寫則在九組中有五組朝錯誤方向變動，幅度介於 0.03 到 0.28 分。IBM 的總結是「更高的轉錄準確率」以及「標點符號與大小寫」，這在整體上站得住腳，但在細節上略顯寬容。實務上的解讀是：預期漏掉的逗號會變少，但別期待模型突然就能把專有名詞和句首處理正確。

改變整合工作的兩項功能

最有可能影響實際部署的能力，在評估卡中根本沒有進行基準測試，因為它們是控制功能，而非準確度功能。

語言 ID 提示。你可以在前面加上「這段語音是德語。請逐字轉錄；不要翻譯。」模型就會轉錄德語，而不是把它翻譯成英語。這一點很重要，因為一個會自動翻譯的語音模型無法用於德語支援存檔之類的場景——你會得到一份英語轉錄稿，並丟失原始措辭。當提示以目標語言書寫時也同樣有效，而對多語言流水線來說，這是更現實的情況。

關鍵字偏置最多支援 2,000 個詞條。4.1 版說明卡並未明確列出前代產品的硬性上限數字，但 5.0 版將每個提示詞所支援的清單提高至兩千個詞條，涵蓋 ASR 與語音翻譯。對於產品名稱、藥品名稱、工單 ID 或客戶自家的 SKU 清單而言，這正是能否產生可用轉錄稿、或是仍需人工修正的差別所在。說明卡以圖表呈現關鍵字偏置的 F1 值（分別為套用偏置與未套用偏置的情況），但文字中並未提供數值，因此這項改善的幅度應視為未經量化。

還有一個值得了解的安全設計細節：如果模型收到格式錯誤或不熟悉的提示詞，IBM 表示它會忽略該提示詞，退回單純的轉錄功能。這是刻意限制音訊能影響系統的程度，而 IBM 建議在生產環境中將該模型與 Granite Guardian 搭配使用，以進行風險偵測。

運行中

Granite Speech 5.0 2B 已原生支援於 transformers>=4.52.1，透過 AutoModelForSpeechSeq2Seq 與 AutoProcessor。此模型卡亦記載了 vLLM、llama.cpp 與 mlx-audio 的用法，而這點比聽起來更重要：這是一款可以直接在筆電上執行的模型，而不只是部署在 GPU 叢集後方。

• 區段長度 — 以每塊最多約兩分鐘進行轉錄，並用 VAD 分割較長的錄音。{{1}}16k YaRN 上下文{{/1}}並不代表可以餵給它長達一小時的音訊；準確度早在上下文耗盡之前就會明顯下降。

• llama.cpp — 這張卡片建議使用 Q8_0，並指出較低位元量化在音訊長度超過約一分鐘時會損失準確度。這是異常具體的警告，值得照字面認真看待。

• mlx-audio — 0.5.9 或更新版本，外加 jinja2；mlx-audio 需要 jinja2 來處理聊天範本，但不會自行安裝。

• {{1}}提示詞會因任務而異，而且相當重要{{/1}}——「以正確的標點符號與大小寫轉錄語音」與原始逐字稿提示詞是不同的模式，而關鍵詞偏誤模式則會加上「Keywords: …」後綴。

尚未可知的事物

有三件事值得直說，因為周遭的報導不會這麼做。

首先，並沒有獨立評測。上面每一個數字都來自 IBM 自家的評測執行，或來自 IBM 提交的排行榜資料。FFASR 圖表寫著「官方結果」，意思是該提交已登上排行榜，而不是由第三方實際跑過這個模型。沒有人發表過重現結果、失敗模式分析，或針對 IBM 未自行挑選的音訊進行正面對比。

其次，目前沒有託管端點。模型卡直接指出，該模型「未由任何推論供應商部署」，我也無法在 OrcaRouter 目錄中找到它——這份包含 209 個模型的清單中，沒有任何一代的 Granite Speech 檢查點。目前你的選擇只有權重，不然就是什麼都沒有。對一個才推出兩天的模型來說，這很正常，而且情況會改變；在這段期間請規劃自行託管。

第三，授權條款在整個系列中有所不同，很容易讓人一不小心就搞錯。2B 採用 Apache 2.0，沒有商業使用限制。小型 TurboCTC 模型有兩個版本，一個是 Apache 2.0，一個是非商業用途——單看命名無法一眼看出哪個是哪個。

這讓語音管線處於什麼境地

針對 2026 年底的 Granite Speech 5.0 2B 部署，切實可行的架構是：以自行託管的編碼器-解碼器轉錄音訊，並另外呼叫一次語言模型來執行後續工作：摘要通話、擷取欄位、分類意圖，以及依據結構定義清理逐字稿。第二階段是一般的文字生成，而這正是受益於不必硬性綁定單一供應商的部分——逐字稿會送到一個 OpenAI 相容端點，該端點可觸及 200+ 個模型，且採用供應商定價、不額外加價，因此更換清理模型只是變更設定，而非重新建置；而且 供應商中斷時會進行容錯移轉，而不是讓整條管線也一起停擺。

就語音階段本身而言，本週的決定比基準圖表所暗示的範圍更窄。Granite Speech 5.0 2B 是一個可信的前三名開放權重英語 ASR 模型，在那些會讓生產環境 ASR 失效的條件下，相較於自身前代有明顯提升，也是真正多語言的模型，具備翻譯與關鍵詞控制，而這個規模的大多數競爭對手並不提供這些功能。它同時也才問世兩天、由廠商自行進行基準測試，且尚未被重現。先用你自己最難的音訊跑一遍，再相信 5.06% 這個數字。