ZwZ2-9B 與 Gemma 4 12B：一個模型、一張模型卡，以及究竟哪一款才是你真正能出貨的

Gemma 4 12B自 2026 年 5 月 23 日起便已公開。它附有模型卡、技術報告、已發布的評估套件、五個同系列尺寸，而且在 Hub 上的下載次數光是上個月就突破了 79,000。ZwZ2-9B自 2026 年 10 月 16 日——也就是今天——起公開，形式是某個儲存庫裡的八個檔案，沒有 README、沒有授權欄位，也沒有 pipeline 標籤。兩者大小大致相同。兩者都接受圖片。兩者都宣稱相同的 262,144 位置上下文上限。但它們的完備程度根本天差地遠，而如果你正在決定要把 GPU 花在哪裡，這正是唯一重要的比較。

簡短的回答：Gemma 4 12B 是 Google DeepMind 的完成品，而且五個月來其他人早已試探過它的極限。ZwZ2-9B 是 inclusionAI 的檢查點，實驗室外還沒有人描述過它，連實驗室自己也沒有。如果你需要在本月出貨，選擇毫無懸念，而且這並不是對權重的評論。如果你是在決定下個月要用什麼來做原型，先讀讀下面的數字，然後自己跑一次評估，因為這兩個模型中，只有一個有東西讓你讀。

這兩個堆疊，一個維度一個維度地

• 參數 — ZwZ2-9B：bfloat16 格式下為 9,409,813,744。Gemma 4 12B：119.5 億。

• 架構 — qwen3_5，線性與全注意力的混合架構。Gemma：gemma4_unified，無編碼器且跨模態統一。

• 層 — ZwZ2-9B 中有 32 層（24 層線性注意力、8 層全注意力）。Gemma 4 12B 中有 48 層（40 層為 1,024 個 token 的滑動視窗，8 層全注意力）。

• 上下文上限——雙方皆宣告 262,144 個位置。

• 詞彙 — 248,320 對 262,144，其中 Gemma 的詞彙保留給圖像、音訊與視訊 token id。

• 其中的模態 — ZwZ2-9B 支援文字、圖像與影片。Gemma 4 12B 支援文字、圖像、音訊與影片，其設定檔帶有一座 640 維的音訊塔。

• 授權 — 未宣告 vs Apache-2.0。

• 過往紀錄 — 零次下載和兩個讚，對比過去一個月的 79,565 次下載和 790 個讚。

其中兩行值得再看一眼，因為它們顛覆了一種直覺。第一項是注意力排程：ZwZ2-9B 是 32 層模型，有 8 層完整注意力，而 Gemma 4 12B 是 48 層模型，也有 8 層完整注意力。兩者都押注注意力中昂貴的那部分應該罕見；它們只是對「多罕見」看法不同——一個是每四層一層，一個是每六層一層。第二項是上下文上限：一個沒有文件說明的 9.4B 檢查點，和 DeepMind 的 11.95B 旗艦模型，竟落在完全相同的 262,144 這個數字上——這是設計目標上的巧合，而非兩者之間有任何關聯。

當 Gemma 4 12B 不僅僅是領先，而是屬於另一個類別

音訊是最先要談的。Google 的模型原生接收聲音，擁有專用的音訊塔，並在其詞彙表中內建音訊 token id。ZwZ2-9B 的分詞器同樣保留了<|audio_start|>、<|audio_end|>與<|audio_pad|>——但它的設定檔中完全沒有任何音訊相關設定，因此那些 token 只是它繼承而來的詞彙，而不是它實際具備的能力。若你的工作負載包含語音，比較到此就結束了，而這點值得精確說明原因：並非因為 ZwZ2-9B 得分較差，而是因為該檢查點裡根本沒有任何能處理波形的東西。

文件是第二項，而它才是會產生複利的那一項。Gemma 4 12B 附帶一份技術報告（arXiv 2607.02770）、一套已發表的評估集，涵蓋從 GPQA 風格的推理到視覺基準測試的各種項目、一份明載的授權條款，以及一則說明：該模型提供五種尺寸，讓你能在能力與資源佔用之間取捨，而不必離開這個家族。圍繞著它，Hub 上顯示有 83 個已發表的微調、49 個量化版本，以及 15 個以它為基礎打造的 Spaces。這個生態系不是裝飾品。它是一批關於這個模型如何失效的證據，由並非 Google 的人所產出，而且無可替代。

授權是第三項，也是最不光鮮亮麗、卻最具決定性的一項。Gemma 4 12B 採用 Apache-2.0。ZwZ2-9B 完全未宣告任何授權——不是開放，不是自訂，儲存庫中介資料裡什麼都沒有。在沒有宣告的情況下，安全的解讀是發布者已保留其權利，而那不是你會想在採購期間才發現自己搞錯的問題。一個你不能合法使用的檢查點，並不會比你能合法使用的更便宜。

ZwZ2-9B 唯一具備結構性論證的地方

問題不在品質，那目前還沒有人能衡量。問題在於這個東西如何花費算力，而設定對此異常明確。

ZwZ2-9B 有四分之一的層⋯不對，是四分之三的層採用線性注意力——32 層中有 24 層——每一層都帶有固定大小的遞迴狀態，而非隨著對話增長的鍵值快取。設定檔載明了其機制：16 個鍵頭與 32 個值頭，維度為 128，卷積核寬度為 4，且狀態以 float32 保存以維持數值穩定性。只有每第四層才執行完整注意力。Gemma 4 12B 也下了類似的賭注，但採用不同的機制——其 48 層中有 40 層使用上限為 1,024 個符元的滑動視窗——因此這兩個模型都旨在讓大多數層不再付出完整注意力的成本。它們在程度與技術上有所不同，而在沒有基準測試的情況下，無法誠實地斷言哪一個勝出。設計意圖清晰可辨；結果則尚未被量測。

佔用空間是最單純的部分。9.41 億參數對上 11.95 億，大約少了五分之一的權重需要在你進行任何量化之前先承載，而且視覺塔很小——27 層、隱藏維度 1,152，投影到 4,096——這就是為什麼這個模型能輕鬆放進與執行 Gemma 4 12B 同等級的硬體中。

The behavioural difference worth knowing is the reasoning default. ZwZ2-9B's chat template emits an empty <think></think> block unless you explicitly ask for thinking, so it answers directly out of the box. Gemma 4 12B offers thinking modes you configure. For extraction, classification or routing — the jobs where a second pass of reasoning is latency you did not want to pay for — only one of these is cheap by default.

ZwZ2-9B 無法告訴你的事，以及這為何決定了這項比較

你無法得知它是經過指令微調的模型，還是基礎檢查點，因為它的儲存庫沒有 README，也沒有 pipeline 標籤，而這兩者通常都會說明此事。內建的系統提示指向<answer>標籤，是模型受過指令訓練的強力證據，但這是證據，不是明確的聲明。

你無法知道它是用什麼訓練出來的，也不知道讓 ZwZ 家族打響名號的那套細緻感知配方是否沿用下來，更不知道它理應擅長什麼。你無法知道它的授權條款。而且你也無法知道它在邊緣情況下表現如何，因為 inclusionAI 以外沒有人實際跑過它。

把那個跟 Gemma 4 12B 放在一起看，這種不對稱並不是程度上的差異。一款模型問世時附有技術報告與八個月的公開使用紀錄；另一款則帶著一個 config.json和一個反轉的 thinking 預設值而來。這是值得做原型驗證的理由，而不是該輕視它的理由——未記載的檢查點往往是許多有趣工作最初出現的地方——但這也是要誠實面對的理由：評估得由你自己來做。

一種不依賴於缺失證據的決策規則

若下列任一情況成立，就選 Gemma 4 12B：你需要音訊輸入、你需要一份能出示給律師的授權、你需要在一個季度內出貨，或者你需要同系列的不同尺寸，讓同一套評估套件能在整個系列中上下通用。這四點都已定案。

如果有一個具體問題，是搭載混合注意力、預設不推理的 9.4B 視覺模型 ZwZ2-9B，可能比你已經在付費使用的模型回答得更好，而你也願意自己實測，那就該認真看待 ZwZ2-9B。首先要測的不是它有多聰明，而是它是否接受你實際傳給它的圖片、回傳你實際需要的格式，而且結果不會籠罩在授權問題之下。

而且不要在基準測試表上比較它們，因為那張表只有一欄。你可以把 Gemma 4 12B 已公布的數字放在一片空白旁邊，然後稱之為比較，但那片空白才是發現所在。這週任何對 ZwZ2-9B 提出正面對決品質評斷的人，都是在憑空捏造。

目前我們的目錄裡沒有這兩個檢查點，因此現在也無法透過我們呼叫其中任何一個——Gemma 4 12B 得從 Hugging Face 下載並使用你自己的推論服務堆疊，ZwZ2-9B 也是如此。我們實際提供的是同系列的另一個成員，讓 Gemma 的比較能在不改變你任何評估方式的情況下實際跑起來：Gemma 4 26B A4B，同一家族的混合專家（MoE）成員，託管端點價格為每百萬輸入 token 0.06 美元、每百萬輸出 token 0.33 美元，並具備相同的 262K token 上下文。因為OrcaRouter 以 0% 加價將供應商的標價原樣轉傳，供應商端的價格變動當天就會反映在這裡，而不是等到下一次目錄更新——當你要做的事是比較自己託管的模型與租用模型之間的成本時，這一點很重要。在這個對照的另一端，最接近 ZwZ2-9B 想成為的那種模型的託管替代品是qwen/qwen3-vl-8b-instruct，一個 8B 的視覺語言模型，具備 131K 上下文，價格為 0.18 美元與 0.70 美元，已有文件、授權，且現在就能使用。

什麼會改變這篇文章？

一張模型卡。具體包括：一份授權條款、一段關於訓練資料的段落，以及一份由並未訓練該模型的人所製作的評估表。在那之前，對 ZwZ2-9B 與 Gemma 4 12B 的誠實總結，並不是其中一個更好，而是其中一個以產品的形式存在，另一個則以檔案清單的形式存在，而這兩者之間的落差，是機器學習中最昂貴的距離。

像這樣的比較，也正是失效模式會顯現的地方：這一類模型背後有紀錄的 AI 事件與代理失敗，都收錄在 OrcaRouter AI Incident Archive，其中每筆條目都附有自己的來源、嚴重程度、可信度等級，以及爭議旗標。