Granite Switch 4.1 8B：一個能聊天、決策與轉錄的 8B 檢查點

八十三億八千萬個參數輸入，八十七億七千六百萬個參數輸出。那 4.72% 就是 IBM 基礎模型與Granite Switch 4.1 8B之間的全部差異，而這是此次發布中最有意思的數字，因為塞進那一小片差距裡的，是一個安全分類器、一個決策引擎和一個語音辨識器——全部從同一個端點回應，全部讀寫同一個 KV 快取，而那個快取基礎模型本來就會建立起來的。

權重於 2026 年 10 月 14 日上架 Hugging Face。IBM 自家的發布部落格，Granite Switch 4.1：從單一端點實現對話、決策與語音，於 10 月 15 日跟進，這點值得在一開始就直說：這不是有人在鏡像裡發現的悄然上架。這是一項已公告的發布，撰寫本文時大約才過兩天，而真正重要的故事版本不是「IBM 聲稱了什麼」，而是「你現在能從 Hub 上那個檢查點實際驗證什麼」。這兩者並不相同，而本文將它們區分開來。

檢查點實際上包含的內容

Granite Switch 不是一種新的架構。它是一種組合：一個凍結的基礎模型、一組可依每個 token 開啟與關閉的低秩適配器，以及在這個特定建置中，額外加上的一個用於音訊的編碼器。組合器位於 granite-switch 儲存庫中，而這個檢查點的建置資訊清單與權重一同簽入，這意味著下列每一項結構性主張都能直接從 Hub 上讀取，而不是取自新聞稿。

基礎是 Granite 4.1 8B——稠密、僅解碼器架構，分組查詢注意力以 32 個查詢頭對上 8 個鍵/值頭，採用 SwiGLU、RMSNorm，具備 131,072 個 token 的視窗與 100,352 個 token 的詞彙表。組合後的檢查點繼承了上述所有特性，並加入兩個已啟用的 LoRA 適配器：

• guardian-core — rank 16、alpha 64，僅附加於注意力投影（k_proj、o_proj、q_proj、v_proj），取自 Guardian Library 發行版，並被描述為可偵測有害內容、越獄、粗言穢語、暴力、性內容、社會偏見及不道德行為。

• 決策 — 秩 64，alpha 128，附加到全部七個投影層，包括 MLP（down_proj、gate_proj、up_proj），並經過訓練去做一件更狹隘且更奇特的事：給定一個狀態和一個帶有標籤選項的問題，在單次前向傳播中回傳一個在那些選項標籤上的已校準機率分佈。

兩者都是由控制符元啟動——<|guardian-core|> 與 <|decision|>——當你傳入 adapter_name 引數時，聊天範本會為你插入這些符元。你不需要自己撰寫這些符元，而這個細節比表面上看起來更重要：這表示 adapter 的選擇是一項請求參數，而不是要部署的第二個模型。

為什麼參數 delta 這麼小？

算術就是故事本身。基礎模型有 8,380,551,168 個參數。組合模型則是 8,776,400,896。以兩個適配器而言，這是 +3.958 億，或 +4.72%。這個數字之所以能維持這麼低，是因為一項稱為 KV-cache 正規化的設計決策：每個適配器看到的是基礎模型的鍵/值快取，而不是各自維護自己的。在傳統的多適配器設定中，每增加一個適配器就等於多一組注意力狀態，而記憶體負擔會隨著你切換的適配器數量而增加。在這裡卻不是如此。IBM 在發布文章中的說法是，組合模型「在 GPU 上佔用的 VRAM 大約與基礎模型本身相同」；雖然 IBM 以外還沒有人測量過這一點，但 4.72% 的權重差異與此相符——而且不同於 VRAM 的說法，權重差異只是 manifest 裡一個你可以讀取的數字。

決策配接器才是有趣的那一半

從語言模型讀出機率分布並不是新鮮事；真正值得理解的是：在一次前向傳遞中，用固定的選項標籤詞彙表完成這件事，並取得校準到足以據以行動的數值。呼叫的做法記錄在卡片中：固定的決策引擎系統提示、一個在凍結基礎模型上評估的 State: 回合，接著是一個 ### DECISION 回合，呈現問題與單一詞元標籤的選項。然後你向伺服器要求正好那些標籤詞元 id 的 logprobs —— vLLM 透過 logprob_token_ids 提供此功能 —— 再取指數。文件中記載的範例會回傳類似 A: 0.982、B: 0.0035、C: 0.014 的結果。

這裡有個真正的工程細節，是這個發布版本的行銷說法會略過的。vLLM 會將 logprob_token_ids 限制在每次請求 128 個 id。如果你的決策問題有超過 128 個選項，就會拿到 HTTP 400，而修正方式是把標籤 id 拆成每 128 個一組，每一組都用完全相同的提示發出一次請求，再把它們串接起來——因為回傳的 logprobs 是涵蓋整個詞彙集，每個標籤的值與是哪一組請求它無關，因此對完整標籤集合做一次 softmax，在數學上等同於一次未設上限的呼叫。也就是每 128 個選項會多出一次請求。這是個確實有用的細節，而且正是那種只存在於 repo 裡的東西。

這個適配器所附的唯一一項已發布數字，是決策指數（JEV），版本 v0.3，1,068 列的公開快速子集：整體 42.9，知識 29.1，語言 48.9，檢索 49.8，工具 59.8，藝術 18.0。請將那視為廠商自行回報的結果，因為它確實如此：IBM 執行了這項評估、發布了結果，且沒有第三方重現過。也值得解讀其分布形狀，而不是只看標題數字——工具 59.8 對比藝術 18.0 是非常不均勻的表現輪廓，而且卡片本身警告，在該適配器未受訓練的領域上，選項機率是「用來為決策提供資訊的先驗，而非經認證的分類」。

語音轉文字是真的，且比標題所說的更狹隘

語音路徑內嵌 Granite Speech 5.0 TurboCTC，這是一個 470M 參數的非自迴歸式 conformer CTC 編碼器，會先轉錄傳入的音訊，再將轉錄文字拼接進聊天脈絡中，以取代音訊內容部分。呼叫它不會改變請求形狀：它是在一般聊天完成請求中的一個 input_audio 內容部分，而轉錄與聊天及決策執行於同一個端點，因此不需要另外架設第二個語音伺服器。

這些注意事項全都來自 IBM 自家的說明卡，而非來自批評者：編碼器僅支援英文，其輸出為小寫且不含標點，沒有解碼階段的引導，而且——這一點應該讓你停下腳步——語音編碼器與 LLM並未聯合訓練。它們之間沒有經過訓練的投影來將兩者耦合。因此，轉錄錯誤可能悄悄改變模型或適配器所回應的內容。如果你正在打造任何轉錄錯誤會造成後果的東西，那句話就是整份安全審查的重點。

什麼已確認、什麼是廠商說的、什麼根本沒人查過

• 已從儲存庫確認 — 基礎模型身分與層數、兩個 adapter 的 rank 及其目標模組、控制 token ID、組合後的參數量、131,072 token 的視窗、Apache-2.0 授權，以及模型卡要求且已記載的 vLLM 與 Transformers 版本。

• 廠商自行報告、未經重現——Decision Index 分數、Granite Speech 5.0 TurboCTC 是 OpenASR 排行榜上最快 ASR 模型的說法、「與基礎模型相同 VRAM」的主張，以及發布文章中順帶提及，一個客製化的 3B Granite Switch 模型以每秒 60–100 次決策的速度玩 Doom，對比據稱封閉式決策模型每秒 10 次。IBM 表示將在「未來幾週內」公布更多資料，這無異於承認目前的證據薄弱。

• 沒有人驗證過——其餘的一切也一樣。沒有獨立評估、沒有第三方排行榜紀錄、IBM 沒有提供代管 API，也沒有任何非 IBM 的人發表過延遲或吞吐量測量數據。Hub 儲存庫顯示只有幾十次下載和寥寥幾個讚：這個模型才推出兩天，大致上還沒什麼人看過。

運行成本是多少，以及 OrcaRouter 適合放在哪裡

Granite Switch 4.1 8B 目前是自行託管的故事。這張卡片將 HuggingFace Transformers 與 vLLM 列為後端，並釘定了一個相當狹窄的支援範圍（Transformers 5.16–5.17、vLLM 0.26–0.28），而該檢查點無須修改程式碼即可搭配兩者運作。目前沒有可指向的受管端點，對大多數團隊而言，這代表在第一個請求送出之前，得先備妥一張 GPU 和一個容器。

老實說其餘的部分：Granite Switch 目前不在 OrcaRouter 的型錄裡，其他任何 Granite 模型也一樣——所以如果你想要這個檢查點，途徑是供應商自家的發行版本加上你自己的硬體，而不是我們。OrcaRouter 能給你的是周邊的決策依據。這個平台以單一金鑰在背後路由 200 多個模型，並具備自動容錯切換，而且以 0% 加成將供應商的定價原樣傳遞，所以當你正在評測的某個模型真的有了託管端點時，要拿它與現行方案在你自己的實際流量上做比較，只需改一項設定，而不是再簽一份合約。這一點在正好這種情況下最為重要：一個才兩天大的檢查點、又沒有獨立評測，它是候選者，不是現行方案，而對候選者該做的划算之舉，就是把它留在並排比較中，而不是圍繞它重新佈建一條生產路徑。

未解決的問題

Granite Switch 4.1 8B 是一項賭注：針對特定類型的工作，組合勝過規模——那些需要回答、決策與轉錄的應用，而執行三個模型意味著三次部署、三種延遲與三筆帳單。讓這項賭注變得成本低廉的工程——共享 KV 快取、逐 token 轉接器切換、在聊天範本中解析的控制 token——確實非比尋常，而這正是本次發布中，一年後依然重要的部分。

尚未確定的是，組合而成的答案是否好。決策適配器公開的效能概況參差不齊，語音路徑僅支援英文且未經聯合訓練，而且整件事才出現兩天，背後沒有任何獨立執行結果。請閱讀建置資訊清單，自己執行 compose 指令，並用你自己的標籤集對決策適配器進行基準測試，再決定是否相信任何人的 42.9。