一張標題為「Kolibri vs Granite 4.2 3B」的主視覺標題卡,副標題為「以 78B 稀疏混合專家模型對上 3B 稠密推理模型」,藥丸形徽章寫著「總計 78.1B|活躍 3.46B」、「~3B 稠密」、「兩者皆為 Apache 2.0」,頁尾一行寫著「雙方數據皆為廠商提供」,右下角有 OrcaRouter 標誌。
Guides & Insights

Kolibri 對上 Granite 4.2 3B:一場 78B 稀疏度賭注,以及那款拒絕玩同一場遊戲的 3B 模型

作者

Elias Hawthorne

發佈日期

最新模型 · 20查看全部模型 →
基準測試:Artificial Analysis · 每日更新
返回全部文章

把Kolibri與Granite 4.2 3B並排放置,第一個誠實的觀察是:這不是一場公平的較量,而且不是在你所以為的那個方向上。Kolibri 是 Aleph Alpha 的 781 億參數混合專家模型,於 2026 年 10 月 3 日發布,每個 token 啟用 34.6 億個參數。Granite 4.2 3B 是 IBM 約三十億參數的稠密推理模型,其權重於 2026 年 8 月 7 日登上 Hugging Face,模型卡與技術部落格則於 8 月 25 日隨後發布。以總參數而言,其中一個是另一個的二十六倍。它們之所以屬於同一個決策,是因為兩者都是 Apache 2.0、都是純文字、在設計上都是可自行託管的,而且都瞄準同一種買家:一個想要在自己掌控的硬體上進行文件智慧、並具備足以通過採購審查的來源追溯的團隊。有趣的問題不是哪一個更好,而是二十六倍的參數預算實際上買到了什麼,以及承載它需要付出什麼代價。

直白陳述的不一致

Granite 4.2 3B 是從 Granite-4.1-3B-Base 後訓練而成的獨立稠密模型,屬於 IBM 截至八月所發布的 Granite 4.2 系列。它具備 40 層與分組查詢注意力,原生上下文長度為 128K,IBM 並在第五個預訓練階段將其擴展至 512K,還提供三種針對每個查詢的思考模式:預設為完整思考、低投入路徑,以及非思考路徑。IBM 的模型卡異常坦率地說明 3B 不是什麼。有別於其 8B 與 30B 同系列模型,它刻意略過了在 SWE-agent、終端機與搜尋環境中訓練的專門代理式強化學習區塊,這也是為什麼 IBM 完全沒有為它列出任何 SWE-bench 分數,並將該模型定位為推理專家,而非代理。

Kolibri 在每個軸向上都反其道而行。五十層,每一層都是專家混合(mixture-of-experts),每層 384 個專家,其中一個共享、六個路由,稀疏比例約為 22.6 比 1。其上下文本質上為 262,144 個 token,經驗證可達 1,048,576,而模型卡建議在延遲敏感的工作中維持在 262,144 或以下。四種推理投入等級。Hermes 風格的工具呼叫,搭配與權重隨附於同一個儲存庫中的 vLLM 解析器。以及在 FP8 下約 78 GB 的佔用空間,模型卡的最低配置為兩張 A100 80 GB 卡、兩張 H100 SXM5、一張 H200、一張 B200 或一張 B300。

• 參數 — Kolibri:總計 78,103,074,560,每個 token 啟用 3,457,573,120 個。Granite 4.2 3B:約 3B 稠密,所有參數在每個 token 上皆會啟用。

• 上下文 — Kolibri:16,384 已訓練、65,536 中期訓練、262,144 原生、1,048,576 已驗證。Granite 4.2 3B:128K 原生,擴展至 512K。

• 思考模式 — Kolibri:無、低、中、高,透過聊天範本設定。Granite 4.2 3B:完整、低投入與非思考,依每次查詢而定。

• 工具呼叫 — Kolibri:Hermes 風格,並隨附解析器。Granite 4.2 3B:是,但並非其較大型同系列模型所接受的代理式強化學習訓練路徑。

• 語言 — Kolibri:德語與英語,刻意如此設計,別無其他。Granite 4.2 3B:以英語為優先,背後有 IBM 更廣泛的多語言訓練作為後盾。

• 佔用空間 — Kolibri:FP8 約 78 GB,至少需要兩張 GPU。Granite 4.2 3B:bfloat16 約 6–8 GB,量化後低於 2 GB,屬筆電等級。

• 授權條款 —— 兩者皆採用 Apache 2.0,且皆無可接受使用附加條款,亦無月活躍使用者門檻。

• 服務 — Kolibri:aleph-alpha-inference 的 vLLM 外掛,或已發布的容器映像。Granite 4.2 3B:在 granite4.2:3b 之下提供 vLLM、SGLang、Transformers、GGUF 與 Ollama。

A two-column comparison scoreboard titled 'Kolibri vs Granite 4.2 3B'. Left column Kolibri: Parameters 78.1B total / 3.46B active, Context 262,144 native / 1,048,576 validated, Thinking none / low / medium / high, Languages German and English, Licence Apache 2.0, Footprint about 78 GB FP8, two GPUs minimum. Right column Granite 4.2 3B: Parameters ~3B dense, Context 128K native / 512K extended, Thinking full / low / none, Languages English-first with IBM multilingual training, Licence Apache 2.0, Footprint 6-8 GB bfloat16 / under 2 GB quantized, laptop-class. Footer: 'Kolibri figures are Aleph Alpha's own; Granite 4.2 3B figures are IBM's own; nothing here is independently reproduced.' with the OrcaRouter logo in the bottom-right corner.

額外750億個參數能換來什麼

有三件事,而值得精確說明其中哪些是已確立的、哪些只是聲稱的。

第一項是德語。這是兩個模型之間最鮮明的實質差異,而且它不是基準測試排行榜上的一列。Aleph Alpha 圍繞德英雙語語料庫打造 Kolibri,目標是在一次 20 兆 token 的預訓練中讓德語約占 20%,最終得到一個 2.4 兆 token 的德語資料池,其中 80% 由該實驗室自行整理或生成。模型卡解釋了為何這需要費工:去重後的公開德語資料集僅提供 3,900 億個 token,還差了整整一個數量級,因此該實驗室專門為德語重新調校了 Common Crawl 篩選器,並將既有德語文件改寫成百科條目、對話與段落。最該記住的就是篩選器的那個細節。標準的語言資料處理流程會捨棄含有過多長詞的文件,而德語行政文體的平均詞長經常超過英語的界線——所以預設設定會悄悄刪除公共行政書寫所使用的語域。IBM 並不是為了那個語料庫而打造 Granite。Granite 4.2 3B 能處理德語;但它並不是圍繞德語法律與行政語域而設計的,而且沒有任何排行榜會告訴你其中的差別。

第二個是能經得起真實文件考驗的長上下文。Granite 的 512K 上限確實很大,但這兩個模型達成的方式不同,而 Kolibri 的位置設計是較為傳統的長上下文論據。把 IBM 的 RULER 數據——4.2 系列已發表資料中 64K 時的 67.52 與 128K 時的 55.30——視為對檢索品質到 128K 時衰退多少的誠實揭露,並記住 Kolibri 完全沒有同等已發表的衰退曲線。

第三點是原始的推理餘裕,而這正是誠實答案為「沒有參數比例所暗示的那麼多」的地方。Kolibri 的訓練流程為它換來了在 768 顆 NVIDIA B200 上、歷時 21 天、使用 20 兆個 token 的預訓練。而 Aleph Alpha 自家的比較表,在 Kolibri 設定為推理強度「高」時,於一項涵蓋十四個模型的比較中,將其列在英文平均 75.5、德文平均 70.8——在大多數列上都輸給阿里巴巴一款稠密的 270 億參數模型。Granite 4.2 3B 的亮眼數據是自家宣稱的:AIME 2025 為 78.33、GPQA 為 54.80、LiveCodeBench v6 為 69.71、MMLU-Pro 為 67.84,全部由 IBM 回報且未經重現。不同的測試套件、不同的測試框架、不同的廠商。在任何地方都沒有這組配對的同框架數字,而我們不會憑空捏造一個。

各自真正勝出之處

如果你的限制在於機器本身,就執行 Granite 4.2 3B。在 bfloat16 下佔用 6–8 GB,量化後更不到 2 GB,它能裝進一台筆電、單張工作站 GPU,或是一台永遠不會見到兩張 H100 的氣隙邊緣裝置。它可透過五種不同的執行環境提供服務,包括 Ollama 與 GGUF;當部署目標是別人的筆電,而不是你自己的機櫃時,這點就很重要。而它的模型卡格外值得信賴,正是因為 IBM 寫下了它略過了什麼。一個拒絕為 3B 模型宣稱 SWE-bench 成績的廠商,等於是在告訴你這個模型的極限在哪裡。

若重點在於語料庫,而硬體也已經到位,那就跑 Kolibri。一個手上有德語合約、技術文件或行政申報資料,已經有雙 GPU 節點,並且要求權重絕不離開自家機房的團隊,正是這個版本所鎖定的對象。262,144 個 token 的原生上下文視窗、FP8 KV 快取、四種運算投入等級,以及 Hermes 工具呼叫路徑,全都指向文件工作流程,而不是聊天。雙語分詞器也是同一套論證的一部分:Aleph Alpha 回報,在德語網頁文本上平均每個 token 為 4.90 位元組,相較之下 GPT-5 為 4.35,Kimi K3 為 3.28,這些都是各廠商以自家語料庫自行測得的數字;而每個 token 能容納更多字元,是直接的推論成本效應,而非某種評分。如果這一點站得住腳,它會在你處理的每一頁上不斷累積放大。

沒有人宣傳的那種不對稱,正是資料。IBM 公布了 Granite 4.2 3B 的權重,以及該模型如何建構的詳細技術說明,卻未公布訓練資料。Aleph Alpha 則在公布 Kolibri 權重的同時,一併公布了流程、資料來源與能耗數字——20 兆個預訓練 token、9.5×10² MWh,包含資料中心的間接開銷,但不含監督式微調與強化學習。對於必須回答「這個模型的文字從何而來」的團隊來說,這項差異絕非表面功夫。

A screenshot of the Hugging Face model card for ibm-granite/granite-4.2-3b, showing the card header, the Apache 2.0 licence tag, the twelve tested languages, and the links to the Granite 4.2 Collection, the technical blog and the GitHub repository.

兩者的路由現實

目前這兩款模型都不在任何託管目錄中。Kolibri 完全沒有供應商 API SKU——這次發布內容是權重加上一份技術報告——而 Granite 4.2 3B 則以權重形式提供給五種執行環境堆疊,IBM 並未提供託管端點。兩者都屬於自架式方案,而對多數團隊來說,實際問題不是該採用哪一個,而是工作負載是否值得自行部署其中任何一個。

這正是路由層即使對它並未承載的模型也能證明自身價值的地方。我們以兩個模型名稱的所有拼法徹底檢索了 OrcaRouter 的目錄,Kolibri 和 Granite 4.2 3B 都不在其中,所以我們不會假裝它們存在。OrcaRouter 真正能給你的,是在你做出硬體決定之前,用便宜的方式確認這個決定是否站得住腳:把測試路徑指向一個已經在路由中的小型混合專家層級——也就是 Gemma 4 26B-A4B 變體,每百萬輸入 token 收費 $0.06、每百萬輸出 token 收費 $0.33,並提供 262,144 token 的視窗——然後看看你的德文文件工作負載是否真的需要 Kolibri 所提供的東西,只要透過一組與 OpenAI 相容的金鑰,按供應商的定價,不額外加收任何費用。如果需要,你就帶著證據去買 GPU,而不是憑直覺。如果不需要,你就省下了一筆硬體訂單。

判決,以及什麼會改變它

這不是一場有贏家的對決。Kolibri 與 Granite 4.2 3B 以不同價位回答不同的問題,而唯一誠實的排名方式是依限制條件:如果限制條件是硬體,Granite 4.2 3B 是兩者中唯一符合資格者。如果限制條件是德語監管語域文件的地端作業,Granite 4.2 3B 從來就不在考慮之列,而 Kolibri 是更有趣的產物——一個合法的 78B 開放權重釋出、Apache 2.0,且資料管線與分詞器都與權重一同發布。

有兩件事能讓這場比較塵埃落定。在德語文件問答任務上獨立跑一次 Kolibri,將能檢驗該版本當初真正想提出的主張,因為目前沒有任何排行榜在衡量這一點。而獨立重現 Granite 4.2 3B 的推理數據,則能告訴你:一台筆電級機器,能否在你那批從頭到尾都不需要 780 億參數的工作負載子集上站穩腳跟。在上述任一結果出爐之前,請依限制條件選購,而不是依參數數量。

A screenshot of IBM's technical blog announcing the Granite 4.2 family, showing the post header and the discussion of the family's dense and mixture-of-experts tiers and their reasoning and thinking modes.

本文中的比較1

根據本文內容識別 · 基準測試:Artificial Analysis · 每日更新