Granite Switch 4.1 8B 與 Granite 4.2 3B：同一實驗室，兩種不同的押注

關於 Granite Switch 4.1 8B 與 Granite 4.2 3B，首先要知道的是：它們並非真正的競爭對手。它們是針對不同問題的兩種答案，只是恰好共用同一個實驗室、同一份授權條款與同一個版本號；而最快浪費一週時間的做法，就是把這當成一場正面對決，然後選出一個贏家。IBM 於 2026 年 8 月 25 日發布 Granite 4.2 3B，這是一款小型推理模型：三種思考模式、工具呼叫、128K 上下文，並可延伸至 512K。IBM 於 2026 年 10 月 14 日發布 Granite Switch 4.1 8B，這是一個組合體：一個凍結的 8B 文字模型，外掛兩個可切換的轉接器，再加上一個語音編碼器。前者是為了想得更深入而打造；後者則是為了從單一檢查點完成更多工作而生。

第二件要知道的事更為微妙，而這也是這個配對值得專門寫一篇的原因。Granite Switch 系列是以 4.1世代的權重為基礎打造，而 IBM 的傳統產品線則已經推進到 4.2。查看 Granite Switch 4.1 8B 的建置清單，基礎模型是 ibm-granite/granite-4.1-8b。查看 Granite 4.2 3B 的模型卡，它的後訓練基礎是 ibm-granite/granite-4.1-3b-base。兩條產品線都立在同一世代的預訓練權重上，卻對它們做著相反的事：4.2 為了推理而更用力地進行後訓練，Switch 則橫向組合以換取廣度。兩者都沒有取代另一方，這就是為什麼「哪個比較新」的反射性判斷在這裡會給你錯誤答案。

每一個實際上是什麼

Granite 4.2 3B is a dense decoder-only model at roughly 3 billion parameters — 40 layers, hidden size 2,560, SwiGLU with an 8,192 intermediate, grouped-query attention at 40 query heads against 8 KV heads, RoPE theta 1e7, RMSNorm at 1e-5, untied input and output embeddings, and the same 100,352-token vocabulary the Granite family has used for a while. Its distinguishing feature is that reasoning is a mode rather than a model: full thinking with <think>...</think> chain-of-thought, a non-thinking mode that skips it, and a low-effort mode that produces a short burst of reasoning on queries that do not need the full pass. Tool calling is reasoning-augmented, meaning the model reasons about which function to invoke rather than emitting a call pattern directly. Context is 128K natively with a documented extension to 512K.

Granite Switch 4.1 8B 並非推理模型，也無意成為推理模型。它的基礎是 Granite 4.1 8B——40 層、隱藏大小 4,096、32 個查詢頭對上 8 個 KV 頭、131,072 個詞元的視窗——凍結，並在其上疊加兩個已啟用的 LoRA 適配器。guardian-core在注意力投影上為秩 16，其存在是為了偵測有害內容、越獄、褻瀆、暴力、性內容、社會偏見與不道德行為。decision在所有七個投影上為秩 64，其存在是為了在單次前向傳遞中，回傳對已標註選項的校準機率分布。再加上 Granite Speech 5.0 TurboCTC——一個 4.7 億參數的 conformer 編碼器——用於轉錄。組合後總計：8,776,400,896 個參數，相較於基礎的 8,380,551,168 個——增加 4.72%。

它們實際上有差異的維度

• 大小 — Granite Switch 4.1 8B 以 8.78B 之姿對上約 3B 的 Granite 4.2 3B。權重將近三倍，這在單一 GPU 上，就是從容與吃緊之間的差別。

• 上下文 — 131,072 個詞元，對比原生 128K，並具備擴展至 512K 的路徑。在基礎配置下接近，但若你需要長上下文模式，則不算接近。

• 推理——對上其中三個時完全沒有思考模式。Granite Switch 4.1 8B 直接回答；Granite 4.2 3B 則可選擇先推理。

• 結構化輸出 — 在已標記選項上校準過的 softmax，對照提示產生的答案。這些之中只有一個能給你一個可設定閾值的數字。

• 模態——文字加音訊輸入、文字輸出，對比僅文字。

• 適配器組合 — 兩個可切換的 aLoRA 與一個公開的 composer，對比單一的整體式檢查點。

• 發布 — 2026年10月14日 對比 2026年8月25日，相隔七週，兩者皆為 Apache-2.0。

Granite 4.2 3B 是顯而易見首選的情況

任何需要在回答前思考的東西，以及任何必須以小規模運行的東西。一個以受控 token 數量進行推理的 3B 模型，跟一個完全不推理的 8B 模型是截然不同的工具；在數學、多步驟邏輯和程式碼方面，思考模式是在做真正的工作，而不是在裝飾輸出。低投入模式是被低估的部分：它提供你在「完整推理」與「不要推理」之間的中間設定，而當查詢簡單但並非微不足道，而且你是按 token 計費時，這正是你想要的。

512K 擴展之所以重要，原因相同，只是方向不同。長文件工作——儲存庫規模的程式碼、數百頁的輸入——正是 131K 視窗開始需要分塊策略之處，而 Granite Switch 4.1 8B 並未記載超出其 131,072 的擴展路徑。

佔用資源是第三個論點，而且不是個小論點。三十億參數是筆電等級的模型。你可以在 8.78B 檢查點根本行不通的地方執行 Granite 4.2 3B，而這是能力差異，不是偏好問題。

Granite Switch 4.1 8B 明顯是首選的情況

當你需要的輸出是機率，而不是一段文字時。可以提示推理模型選出選項 B，而它會給你那個字母。然而，提示並不是機率：你無法對一個字母設閾值，無法跨回合把字母當作校準分數來比較，也無法把它記錄為信心值。決策 適配器直接對標籤 token 回傳 softmax——文件記載的呼叫會向 vLLM 要求正好那些 id 的 logprobs 並取指數，產生的輸出形式如 A: 0.982, B: 0.0035, C: 0.014。那是路由原語，不是答案。

當安全檢查需要是元件而非政策時。guardian-core 會沿用同一個檢查點，並由聊天模板在你傳入 adapter_name 時所插入的控制權杖啟用。你不是要另外架起第二個模型來篩選輸入；分類器只是你已載入模型的一種模式。

當你想要一個端點而非兩個，特別是當音訊是這兩者之一時。轉錄與聊天及決策共用同一個端點，因此只要在一般的聊天補全中加上一個 input_audio 內容部分就足夠了。Granite 4.2 3B 沒有音訊路徑。

而當你想組合出自己的變體時。composer 是公開的，adapter catalogue 是開放的，而且這個 checkpoint 的 build manifest 就與 weights 一起簽入——這意味著 ranks、target modules 和 control-token ids 全都可以直接讀取，而不是靠推斷。

雙方坦誠的但書

Granite Switch 4.1 8B 完全沒有任何獨立評估。它唯一公開的分數是 Decision Index，v0.3 公開快速子集版，總體 42.9——知識 29.1、語言 48.9、檢索 49.8、工具 59.8、藝術 18.0——而那次跑分是 IBM 自己做的，發布在 IBM 的模型卡上，沒有任何其他人重現過。沒有列入任何第三方排行榜。這個模型在 Hub 上才上架兩天，下載次數只有幾十次。

它的語音路徑比標題所暗示的更狹窄，而 IBM 自己也是這麼說的：編碼器僅支援英文，轉錄結果全為小寫且沒有標點，而且編碼器與語言模型並非聯合訓練——兩者之間沒有經過訓練的投影來耦合，因此一次錯誤的轉錄就可能悄悄改變模型所回應的內容。另一方面，Granite 4.2 3B 是七週前而非兩天前推出的，但其評估數據同樣出自 IBM，而它的 512K 上下文是一條擴充路徑，而非原生視窗。

這兩個模型都沒有獨立的排行榜條目。這是目前整個 Granite 4.x 系列的特性，而非對任一檢查點的批評。

在不必運行兩套堆疊的情況下同時運行兩者

這個組合值得注意的一點是，這兩個模型並不會競逐同一個請求，因此實際可行的部署方式是兩者依序搭配使用：在困難之處在於推理時，採用思考模式的 Granite 4.2 3B；在困難之處在於為決策評分或轉錄語音備忘錄時，則使用 Granite Switch 4.1 8B。這是一套雙容器的架構，而值得精確釐清的是，路由層在哪些地方有幫助、哪些地方沒有：目前 OrcaRouter 的目錄中沒有任何一個世代的 Granite 模型，所以我們並不是通往這兩個檢查點的託管路徑——Granite Switch 4.1 8B 和 Granite 4.2 3B 都得從 Hugging Face 下載，再加上一個 vLLM 容器。這個平台所改變的，是它們上方的這一層。兩百多個模型都在同一把金鑰之後，供應商的定價按原價傳遞、0% 加成，因此廠商降價當天就即時生效，而不必等到下一次目錄更新；而且自動容錯移轉意味著一個你只是試用中的模型可以放在正式路徑上，而不會成為單點故障。在任一 Granite 模型出現在託管端點之前就先把這套機制準備好，重點在於：如此一來，比較的成本就只是一段模型字串，而不是一次搬遷。

所以哪個

當工作負載屬於推理類型、機器規格較小，或輸入長度超過 131K 個 token 時，選擇 Granite 4.2 3B。當工作負載需要經過校準的決策機率、內嵌式安全篩檢，或需要在與聊天相同的端點上提供語音時，選擇 Granite Switch 4.1 8B。如果你有足夠的 GPU，那就兩者都選，因為它們之間的重疊遠比共用的「Granite 4.x」標籤看起來小得多——而且也別因為 IBM 在自己卡上跑出的某個基準測試數字就選擇其中任何一個，因為那正是兩者全部的公開證據基礎。