為文章生成的一張標題卡,標題為「Granite Switch 4.1 8B vs Gemma 4 12B」,副標題為「將小型專家模型組合到凍結的基礎模型上,或跨所有模態訓練單一統一模型」,並有兩張圓角卡片,一張寫著 Granite Switch 4.1 8B / 組合式適配器,另一張寫著 Gemma 4 12B / 單一統一模型;頁腳寫著「兩者皆為 Apache-2.0。兩者都沒有獨立評估。」OrcaRouter 標誌合成於作品下方的白色條帶中。
Guides & Insights

Granite Switch 4.1 8B 與 Gemma 4 12B:組合式專家,還是單一統一模型?

作者

Alistair Wren

發佈日期

最新模型 · 20查看全部模型 →
基準測試:Artificial Analysis · 每日更新
返回全部文章

如果你問兩間實驗室要如何打造一個能對話、能讀取螢幕截圖,還能將語音備忘錄轉錄成文字的模型,你會得到完全相反的答案。Granite Switch 4.1 8B由 IBM 於 2026 年 10 月 14 日發布,它保留一個凍結的 8B 文字模型,並在其上掛載小型、可切換的轉接器,因此安全檢查器、決策引擎與語音辨識器全都是共用同一個主幹的附加元件。Gemma 4 12B則由 Google 於 2026 年 5 月 23 日發布,做法恰恰相反:單一 119.5 億參數模型從一開始就跨文字、圖像與音訊訓練,沒有需要另外接上的獨立編碼器。兩者皆採用 Apache-2.0 授權,都能在單一 GPU 上執行,但對於底層幾乎所有事物的看法都不一致。

先講實用版本,細節留待後述:Gemma 4 12B 是成熟選擇,適合任何需要看的用途,因為它已公開發布五個月,擁有真正龐大的安裝基礎,而且它的多模態路徑是訓練出來的,不是拼湊而成的。Granite Switch 4.1 8B 則是有趣的選擇,適合任何需要判斷,或需要跑一個端點而不是三個的用途;它才問世兩天,且沒有任何獨立評估。這些不是互相競爭的結論——它們是不同問題的答案,而本文其餘部分就是細節,讓你辨認出自己真正要問的是哪個問題。

架構上的拆分,直白地說

Granite Switch 4.1 8B 是一個組合體。基礎是 Granite 4.1 8B——40 層、隱藏大小 4,096、32 個查詢頭對上 8 個 KV 頭、131,072 個符元的視窗、100,352 個符元的詞彙表,而兩個適配器正好以三個保留 id 加以擴充。在其之上則是兩個已啟用的 LoRA 適配器,guardian-core 以 rank 16 套用在注意力投影上,以及 decision 以 rank 64 套用在全部七個投影上,再加上 Granite Speech 5.0 TurboCTC——一個 470M 參數的非自迴歸 conformer 編碼器——用於音訊輸入。總計:8,776,400,896 個參數,相較於基礎的 8,380,551,168 個參數——兩個適配器與一個語音模型帶來 4.72% 的增幅。

Gemma 4 12B 是單一技術堆疊。設定檔稱它為 gemma4_unified,而這個名稱是字面上的意思:圖像、音訊與視訊在同一個 262,144 個詞元的詞彙表中各自擁有專屬的詞元 ID,而模型卡將此架構描述為「無編碼器」,意指沒有獨立的視覺塔或音訊塔將投影饋入語言模型。它在 1,024 個詞元的視窗上交替使用滑動視窗局部注意力與完整的全域注意力,位置編碼採用 p-RoPE,並可延伸至 256K 上下文。與 Granite 一樣採用 Apache-2.0。

• 參數 — Granite Switch 4.1 8B:8.78B 組成(8.38B 基礎)。Gemma 4 12B:11.95B。

• 上下文 — 131,072 個詞元對比 256,000 個詞元。

• 詞彙 — 100,355 對 262,144,其中 Gemma 的保留給圖像、音訊與視訊 token。

• 中的模態 — 文字與音訊 vs 文字、圖像、音訊與視訊。

• 輸出模態 — 僅文字 vs 僅文字。

• 專用頭部 —— 一個經校準的決策分布與一個安全分類器,對比兩者皆無;Gemma 會作答,而非為選項標籤評分。

• 授權 — 兩者皆為 Apache-2.0。

Gemma 4 12B 完勝之處

視覺能力完全沒得比。Gemma 4 12B 原生就能讀取圖像;Granite Switch 4.1 8B 則完全沒有圖像處理路徑。如果你的管線需要匯入螢幕截圖、PDF、圖表或 UI 擷取畫面,那比較就到此為止——再多的轉接器巧思,也無法取代檢查點根本不接受的模態。

實績是第二點。Gemma 4 12B 自 2026 年 5 月 23 日起就在 Hub 上,其 instruct 版本的下載次數已突破 160 萬;光是 base checkpoint 就超過 79,000。這兩個數字都是 Hub 的下載次數,而非使用量數據,因此會高估實際部署情況,但方向無疑是明確的:已有大量使用者遇過它的失效模式並寫下相關紀錄。Granite Switch 4.1 8B 在撰寫本文時才發布兩天,只有幾十次下載和寥寥幾個讚。五個月的公開錯誤報告是你買不到的資產,也是本季將 Gemma 推向正式生產環境的最強單一論據。

上下文長度是第三項,而且它是最低調的那一項。當你餵入長文件時,256K 對上 131,072 並不是行銷上的差異。在典型的聊天工作負載下,這兩個模型都不需要變通做法,但只有其中一個能在不分片的情況下承接儲存庫規模的上下文。

A screenshot of the Google Gemma 4 12B model card on Hugging Face, showing the model name gemma-4-12B with 2K likes, the Any-to-Any pipeline tag, the gemma4_unified architecture tag, Apache 2.0 licensing, a 12B parameter and BF16 model size, a last-month download count of 79,565, and summary text describing native audio and vision understanding without separate encoders, a context window of up to 256K tokens and support for over 140 languages, with five model sizes listed as E2B, E4B, 12B, 26B A4B and 31B.

Granite Switch 4.1 8B 完全勝出之處

決策適配器是另一個模型根本沒有的能力。給它一個狀態,以及一個帶有標籤選項的問題,它就會在單次前向傳遞中,對那些標籤傳回經過校準的 softmax——文件記載的呼叫會向 vLLM 要求恰好是標籤 token id 的 logprobs,並將其取指數,產生形如 A: 0.982、B: 0.0035、C: 0.014 的輸出。通用模型可以透過提示來挑選一個標籤,但提示產生的是 token,而不是你能夠設定閾值、跨回合比較,或記錄為校準分數的分布。對於路由邏輯、分流、升級閾值,以及任何需要信心值而非答案的用途而言,那是另一類的輸出。

單一端點整併是第二項。語音轉錄與聊天及決策執行在同一個端點上;你在一般的聊天完成請求中送出一個 input_audio 內容部件,4.7 億參數的編碼器便會先將其轉錄,再把文字接進上下文。不需要第二台伺服器、不需要協調層、也沒有另外一筆 ASR 帳單。Gemma 4 12B 同樣支援音訊,所以這並非能力落差——而是部署形態的差異,而且唯有在你原本就打算在 LLM 之外另跑一套獨立語音服務時,這點才重要。

佔用空間是第三點。8.78B 對上 11.95B,大約少了四分之一的權重需要持有,而共享 KV 快取的設計意味著這些配接器不必各自攜帶自己的注意力狀態。IBM 聲稱組合後的模型佔用的 VRAM 約與單獨的基礎模型相同;這項具體說法尚未被重現,但支撐它的 4.72% 參數差異是建置資訊清單中的事實。

Granite 陣營尚未成為事實的兩項主張

已發布的 Decision Index 數值,就決策轉接器而言,在 edition-v0.3 公開快速子集的 1,068 列上整體為 42.9,各領域分數為知識 29.1、語言 48.9、檢索 49.8、工具 59.8、藝術 18.0。該項評估由 IBM 執行,也由 IBM 發布。沒有其他人重現過這個結果,而且 Granite Switch 完全沒有任何第三方排行榜紀錄。也要看看它的分布形狀:工具 59.8 緊鄰藝術 18.0,這是專才型輪廓,而非通用能力分數;而且模型卡明確指出,在轉接器未受訓練的領域上,選項機率應視為先驗,而非經認證的分類。

第二個是語音路徑,而這是最可能被過度解讀的說法。該編碼器僅支援英文,其輸出為小寫且未加標點,而且——用 IBM 自己在模型卡中的話來說——語音編碼器與 LLM 並非聯合訓練;兩者之間沒有經過訓練的投影將它們耦合起來。Gemma 4 12B 的音訊路徑則是作為模型的一部分接受訓練。這才是真正的差異,而且它在所有關於端點整合的說法中依然成立:一個系統在聲音與意義之間具有受訓練的耦合,另一個系統則是由一個從未被最佳化來配合讀取它的元件,把轉錄文字拼接進提示中。

A generated comparison scoreboard card titled 'Granite Switch 4.1 8B vs Gemma 4 12B — the scoreboard' with two columns of six matching rows: Parameters 8.78B vs 11.95B, Context 131K vs 256K, Vision no vs native, Video no vs native, Decision scores yes, calibrated vs prompt-only, and Independent evals none vs five months of use. The footer reads 'Granite Switch figures from the published build manifest; Gemma 4 12B figures from Google's model card.' The OrcaRouter logo is composited in the white strip below the artwork.

將它們並排執行

兩個檢查點都可下載,兩者皆為 Apache-2.0,而誠實的說法是:它們屬於不同的定位,而不是同一場對決。當輸入包含像素時,Gemma 4 12B 就是你要拿來用的。當輸出必須是機率時,或者當你想要一個端點同時處理對話、決策與轉錄,並且願意接受轉錄那一半是拼接而成、而非訓練出來的路徑時,Granite Switch 4.1 8B 就是你要拿來用的。

如果你正在對這兩者做基準測試,請不要為了這件事重新改造你的技術堆疊。OrcaRouter 用一把 API 金鑰就能取用 200 多個模型,並具備自動容錯移轉,而且以 0% 加價原樣傳遞供應商標價,因此供應商端的價格變動當天就會反映在這裡,而不是等到下一次目錄更新。img src="4.png" alt="OrcaRouter 模型頁面的螢幕截圖,該頁面為 Gemma 4 26B A4B,顯示此模型標註了 Vision、Tools、JSON 與 Reasoning,具備 262K token 上下文,支援文字、圖像與影片輸入,Google 發布日期為 2026-04-03,每百萬 token 價格為輸入 $0.06、輸出 $0.33,p50 首個 token 產生時間為 2.74 秒,並附有介紹文案,說明 Gemma 4 26B A4B IT 是一個指令微調的混合專家模型,總參數達 25.2B,其中每個 token 啟用 3.8B。" /> 這兩個檢查點目前都不在我們的目錄中,我們也不會假裝它們在——Granite Switch 就是一次 Hugging Face 下載加一個 vLLM 容器,Gemma 4 12B 也一樣。把候選模型放在同一把金鑰後面的意義在於,當它真的可用時,用你自己的流量把它與現行模型相比,只需付出一個模型字串的代價,而非一次遷移。不妨把我們確實有在供應的某些模型,例如 Gemma 4 26B A4B,當作那道橋樑:它與你正在評估的模型同屬一個家族,而且今天就能在託管端點上使用。

A screenshot of the OrcaRouter model page for Gemma 4 26B A4B, showing the model tagged Vision, Tools, JSON and Reasoning with a 262K-token context, text, image and video input, a Google release date of 2026-04-03, a per-million-token price of $0.06 input and $0.33 output, a p50 time-to-first-token of 2.74 seconds, and introductory copy describing Gemma 4 26B A4B IT as an instruction-tuned mixture-of-experts model with 25.2B total parameters of which 3.8B activate per token.

哪一個,給誰?

如果你的工作負載涉及像素,或者 256K 上下文是關鍵支撐,又或者你這一季就要出貨、想在正式上線前先有別人在五個月裡踩過的坑墊底,那就選 Gemma 4 12B。如果你需要的不是一個答案,而是針對各種標註選項的校準後分布;如果能把對話、決策與語音收斂到單一端點、讓架構少掉一個服務;或者如果你屬於那種想親自讀建置清單、自行組裝變體的團隊——那作曲器是公開的,適配器目錄也是開放的——那就選 Granite Switch 4.1 8B。

不要拿 Granite Switch 4.1 8B 來做視覺。它完全沒有視覺能力。也不要根據你自己沒跑過的基準測試數字來選擇它們兩者中的任何一個,因為這項比較中唯一可作決策依據的分數,是廠商自行回報的,背後沒有第二方意見——這句話是在說明證據的狀態,不是在說明模型本身。