生成的標題卡寫著 ZoomGain-9B vs Gemma 4 12B,副標題寫著「缺少的那一行」,兩張圓角模型卡片與其間一道細分隔線,置於白色背景上,帶有藍色與青色漸層點綴,右下角則有 OrcaRouter 標誌。
Guides & Insights

ZoomGain-9B 對比 Gemma 4 12B:基準測試中缺失的那一行

作者

Rowan Sterling

發佈日期

最新模型 · 20查看全部模型 →
基準測試:Artificial Analysis · 每日更新
返回全部文章

發布時,共有二十八個模型在 ZoomGain 基準上接受評分。四個閉源前沿系統、四個代理式視覺模型、四個細粒度專用模型,以及十六個開放式通用模型。G​emma 不在其中——不是 G​emma 4 12B,不是 Gemma 4 31B,也不是 E 系列中的任何一個。這項遺漏是比較 ZoomGain-9B 與 G​emma 4 12B 時最有用的單一事實,因為這意味著你能建立的每一張「ZoomGain vs G​emma」表格都有一個缺口;而本文要談的是這兩個模型實際上是什麼,而不是一個不存在的數字。

兩者在規模上足夠接近,因而引人比較;但在用途上又相距夠遠,使這種比較具有誤導性。ZoomGain-9B 是 inclusionAI 的 9B 視覺語言檢查點,以強化學習在 9,000 個由裁切影像挖掘出的問題上進行後訓練,於 2026 年 11 月 10 日發布,附有論文但沒有公告。Gemma 4 12B 是 Google DeepMind 的 11.95B 無編碼器統一多模態模型,於 2026 年 5 月 23 日發表,採用 Apache 2.0 授權,過去一個月有 180 萬次下載和 1,730 個讚。一個是僅展示出一項能力的研究工具。另一個是產品,具備授權條款、一套文件、六種量化版本,以及半年的社群使用經驗。

每一個實際上是什麼

G​emma 4 12B 是 G​emma 4 系列中在架構上很有意思的一員。E2B、E4B 與 31B 模型採用專用編碼器——小型模型上約 150M 參數的視覺塔,31B 上約 550M——並將嵌入傳遞給語言模型。12B 則不然。它透過輕量級線性層,將原始影像區塊與音訊波形直接投影到解碼器的嵌入空間;這正是其名稱中「Unified」的含義,也是音訊支援存在於此模型、而不存在於 31B 的原因。

它的架構:48 層,隱藏層大小 3,840,中間層 15,360,16 個查詢頭對應 8 個 KV 頭、頭維度為 256,詞彙表大小為 262,144 個 token,最大位置數為 262,144。它的 48 層中有 40 層是視窗大小為 1,024 個 token 的滑動視窗注意力;8 層是完整注意力,而最後一層始終是全域注意力。三種輸入模態、文字輸出、256K 上下文,以及原生的系統角色。

ZoomGain-9B 的建構方式恰好相反。其文字主幹是 Qwen3.5-9B——32 層、隱藏維度 4,096、中間維度 12,288、線性注意力與全注意力以 3:1 的比例安排、最大位置數 262,144——並附上由基礎模型加裝的視覺塔,而非在此處自行設計。作者在此主幹之上,對 9,000 個問題執行 GRPO,這些問題的答案取決於只有放大某一區域時才看得見的細節。此模型並非作為通用助理來訓練,也未以通用助理自居。

• 參數 — G​emma 4 12B 為 11.95B,對比 ZoomGain-9B 約 9.4B(BF16 下為 18.82 GB,相對於 12B 的檔案大小)。

• 模態 — G​emma 4 12B 接受文字、圖像、影片與音訊;ZoomGain-9B 接受文字與圖像。音訊並非 ZoomGain 實作上的缺口,而是其設定中根本不存在。

• 上下文 — Gemma 4 12B 記載為 256K。ZoomGain-9B 的模型卡未記載任何內容;其設定從 Qwen3.5-9B 主幹繼承 262,144 個位置,這並不等同於微調檢查點經測試所得的屬性。

• 授權條款 — Gemma 4 12B 採用 Apache 2.0,並附有具名授權檔案。ZoomGain-9B:程式碼採用 Apache 2.0,檢查點條款則延後至一張未標示授權標籤的卡片。

• 發行方式 — Gemma 4 12B 以 BF16 形式推出,QAT q4_0 GGUF 為 6.98 GB,並附 0.18 GB 投影器,另提供來自 ggml-org、unsloth 與 litert 的建置;ZoomGain-9B 以 BF16 加上 GGUF 形式推出,提供 F16、Q8_0 與 Q4_K_M,自 11 月 11 日起。

• 文件 — Gemma 4 12B 有發布部落格、技術報告、框架 cookbook 與授權條款頁面。ZoomGain-9B 有論文、儲存庫,以及一張未註明上下文長度的模型卡。

Generated two-column comparison card headed ZoomGain-9B and Gemma 4 12B, with rows labelled Parameters, Modalities, Context, Licence, Q4 download and ZoomGainBench, carrying values that include roughly 9.4B against 11.95B, text and image against text, image, video and audio, 262K undocumented against 256K documented, Apache 2.0 and six quantisations, 5.63 GB plus a 0.52 GB projector, and 55.48 held-in against not run, with a footer noting the ZoomGain figures are author-reported and unreproduced.

為什麼缺失的那一列不是你可以隨手帶過的疏漏

ZoomGain 基準旨在揭露一種失敗:模型無法解析大型畫面中的微小細節。作者以 1,000 道題目與 941 張圖片,涵蓋英文與中文,評估屬性辨識、計數與 OCR,選擇題與整數採完全匹配,OCR 則採 ANLS 並以 0.7 為下限。在該測試中,二十八個模型中最佳者達到 61.08,僅有五個突破 50。

Gemma 4 12B 尚未在其上執行過。其他任何 Gemma 也都沒有。這讓你只剩兩個選項,而其中只有一個是誠實的。你可以把 Gemma 的 MMMU Pro 69.1 和 MATH-Vision 79.7 拿來對上 ZoomGain 在留出集上的平均 66.10,然後稱之為比較;但這是拿一套廣泛的多模態基準套件,去比十三項感知基準的平均值,產生的數字毫無意義。或者,你可以說出事實:沒有人用同一把尺量過這兩者;如果這個問題對你很重要,該基準測試可供下載,你一個下午就能自己跑。

第二個選項比聽起來更便宜。ZoomGainBench 以標註、影像與評估器形式提供;評估可接受 OpenAI 相容端點或本機檢查點,以溫度 0 並在停用思考的情況下執行,並回報逐題結果。G​emma 4 12B 可在 vLLM 或 llama.cpp 下執行。這是你確實可以做出的正面對決,而基準作者未納入 G​emma 這件事本身就很有啟發性——該模型在此基準發布前已可用六個月。

Gemma 4 12B 的數字在哪裡,以及它們代表什麼意思

這些是 Google 自己在模型卡中提供的數字,尚未由中立實驗室重現:

• MMMU Pro 69.1 — 多模態推理套件,也是 Gemma 規格卡上最接近視覺能力聲明的一項。

• MATH-Vision 79.7 — 對圖表與圖像進行數學推理。

• OmniDocBench 1.5 平均編輯距離為 0.164——文件解析,數值越低越好;31B 達到 0.131。

• MMLU Pro 77.2、GPQA Diamond 78.8、AIME 2026 77.5(不使用工具)——文字能力方面,ZoomGain-9B 完全未宣稱。

• τ² 平均 69.0,以及原生函式呼叫 — 代理式工具運用。

• MRCR v2 八針測試在 128K 下為 43.4% — 長上下文檢索,也是最削弱 256K 頭條宣傳的數字。

最後一項值得強調。256K 的視窗並不代表 256K 的可用注意力,而 Google 公布在 128K 時降至 43.4% 的檢索分數,比大多數模型卡所提供的更為坦率。若你的工作負載是「在一份大型文件中找出單一事實」,Gemma 4 12B 的視窗是真實的,但其深處的召回表現平平;而 ZoomGain-9B 則沒有對應的測量數據,因為並未對它進行長上下文評估。

在 ZoomGain-9B 有數字的地方,以及每個數字附帶的但書

所有由作者報告的結果,均基於已釋出的測試框架:

HR-Bench 4K 達 90.25,較其來源模型 Qwen3.5-9B 的 82.13 有所提升。高解析度感知,也是本次發布的主打宣稱。

• V*Bench 93.19,較 86.91 提升。雜亂場景中的小型物件偵測。

• MMVP 70.00,較 60.00 提升。這項配對圖像測試中,兩張幾乎相同的圖片各有不同的正確答案——是現有最接近 ZoomGain 訓練目標的類比。

ZoomGainBench 55.48,從 32.13 上升。held-in 欄位因建構方式而膨脹,作者也如此表示。

• 十三項基準測試的留出集平均為 66.10,高於 59.75。這才是真正有意義的數字。

這些注意事項,依你應該擔心的程度排序。第一,作者名單以外沒有人重現過其中任何結果。第二,基準測試與訓練資料來自同一條管線,因此論文將自己的基準測試排除在留出集平均值之外——這種紀律值得肯定。第三,訓練集有 9,000 筆記錄,規模小到即使增益真實存在,也可能很有限。第四,該模型沒有託管端點,且在撰寫本文時,Hub 上的供應商映射是空的。

成本,以真正決定它的條件來衡量

G​emma 4 12B 在 QAT q4_0 下為 6.98 GB,外加 0.18 GB 的投影器。這能輕鬆放進 16 GB 的筆電還綽綽有餘,若費點功夫也能塞進 8 GB 的顯示卡。ZoomGain-9B 在 Q4_K_M 下為 5.63 GB,外加 0.52 GB 的投影器;在 Q8_0 下則是 9.53 GB,外加 0.62 GB。9B 在每種精度下的下載檔都較小,因為它本身就是較小的模型,而且其以線性注意力為主的主幹意味著在長序列長度下 KV 快取較短,若你喂給它的是高解析度影像而非長文字,這一點就很重要。

今天這兩個都無法透過我們呼叫。G​emma 4 12B 不在 OrcaRouter 的目錄裡,ZoomGain-9B 也不在,所以誠實的說法是:這兩者都屬於自架或供應商 API 的抉擇。我們有託管的是Gemma 4 26B A4B,每百萬輸入 token 收費 0.06 美元、每百萬輸出 token 收費 0.33 美元,視窗為 262K——同一個家族、四倍的有效參數預算,而且是在你下載任何東西之前,先確認 G​emma 的文件解析特性是否適合你的管線的一種正當做法。一組金鑰就能涵蓋它與其他 200 多個模型,按牌價計費、不加價,因此要在一個視覺端點與一個便宜的文本模型之間做一次評比,只需花一個下午,而不是簽三份合約。

Screenshot of the OrcaRouter model page for Gemma 4 26B A4B, showing the 262K context figure, text, image and video input, the Vision, Tools, JSON and Reasoning capability tags, a price of $0.06 per million input tokens and $0.33 per million output, a p50 time-to-first-token of 51 ms, zero data retention, the Google attribution dated 2026-04-05, and the 25.2B total / 3.8B active mixture-of-experts figures.

依工作挑選,而非依職級

如果任務是大圖像中的一個小細節——裝置上的序號、遠處招牌上的文字、四十個物件中某一個的顏色、立面上一扇窗的計數——ZoomGain-9B 就是為此而打造的,但要注意其證據是自述的,且其授權條款需要細讀。它的架構正是針對你正遭遇的這種失效模式而最佳化。

如果任務是其他任何視覺性質的工作——閱讀多頁文件、描述場景、回答關於圖表的問題、同時接收音訊與影像,之後再呼叫函式——G​emma 4 12B 就是完成品,而比較也不再旗鼓相當。它具備 140 種語言的預訓練、原生工具呼叫、附有公開檢索曲線的 256K 視窗、六種量化,以及一份你可以直接交給法務、無須任何解釋的授權。

如果任務同時包含兩者,誠實的答案是:這兩者其實是同一條管線的兩個層次,而不是替代方案。2026 年務實的文件代理會用通用多模態模型進行解析,並把真正重要的裁切區域升級交給感知專家處理——而升級正是有趣的工程所在,因為這代表要判斷某個細節是否值得再發一次呼叫。那是路由問題,也是我們在意它的原因:把便宜呼叫導向便宜模型、把升級導向任何能達到你門檻的端點,這只是一處設定變更;而容錯移轉意味著某個卡住的專家不會拖住整條管線。

Screenshot of the first page of the ZoomGain paper on arXiv, showing the title ZoomGain: Mining Global-to-Zoom Perception Gaps for Fine-Grained Visual Supervision, the seven-author list with affiliations at Ant Group, Zhejiang University, Om AI Research and the Binjiang Institute, the abstract, and the identifier arXiv:2611.14076v1 dated 10 November 2026.

以證據所支持的形式陳述的結論

G​emma 4 12B 在所有非感知基準的衡量指標上,都是更安全的購買選擇:授權、文件、發行、廣度、社群,以及 G​oogle 會公布你可以據以爭論的數字這件事。ZoomGain-9B 是更有趣的模型,而且很可能在某項特定工作上會是更好的工具,但其依據是尚未經論文作者以外任何人檢核的證據。

正確的下一步取決於你發現自己同意的是哪一句。如果是第一句,下載 QAT GGUF,然後停止閱讀。如果是第二句,下載 ZoomGainBench 以及權重——941 張影像、1,000 個問題、一個評估器,以及一個你可以自行產生的數字——並讓 G​emma 跑過它。那麼你將是第一個這麼做的人,而且你會知道一些關於這兩個模型、而目前兩家廠商都不知道的事。