生成的標題卡顯示 ZoomGain-9B 對 MathForm 8B,副標題顯示兩項不重疊的工作,兩張圓角模型卡片以間隙隔開,而非以對決分隔線隔開,背景為白色,帶有藍色與青色漸層點綴,右下角有 OrcaRouter 標誌。
Guides & Insights

ZoomGain-9B 對比 MathForm 8B:兩個無法勝任彼此工作的 9B 檢查點

作者

Rowan Sterling

發佈日期

最新模型 · 20查看全部模型 →
基準測試:Artificial Analysis · 每日更新
返回全部文章

ZoomGain-9B 與 MathForm-8B 背後有一個帶有預設陷阱的問題:兩者都是約九十億參數的微調模型,都在同一個八十天窗口內發布;兩者都是來自中國實驗室、附有論文且授權近似 Apache-2.0 的研究釋出;兩者都透過強化學習在幾千個範例上進行後訓練;而且兩者都帶著一個對其規模而言看似不可能的基準測試分數。令人忍不住想替它們排名。問題在於,其中一個從未見過圖像,另一個從未見過 Lean 證明,因此這種排名沒有比較軸。

ZoomGain-9B 是 inclusionAI 於 2026 年 11 月 10 日發布的視覺語言檢查點,以 GRPO 在 9,000 個從裁切影像細節中挖掘出的問題上訓練,其報告的最佳結果是在 HR-Bench 4K 上達到 90.25。MathForm-8B 是 OpenBMB 於 2026 年 8 月 14 日推出的自動形式化器,先以監督式微調、再以強化學習在約 367,000 個 Lean 4 範例上訓練,其報告的最佳結果是在六個自動形式化基準上取得 88.06% 的語法檢查 pass@8 平均。這兩個數字都無法說明另一個模型的任何事。真正連結它們的是比排名更有用的東西:這兩個發布對「小型微調模型如何擊敗大得多的通用模型」提出了異常相似的主張,而它們佐證這些主張的方式差異夠大,足以告訴你該在什麼方面信任哪一個。

空白欄位,名為

ZoomGainBench 不包含純文字模型。它是一組關於照片的問題——屬性辨識、計數與 OCR——因此沒有視覺編碼器的模型無法參賽,而 MathForm-8B 也沒有參賽。相反地,MathForm 的六個評測基準是 FormalMATH、ProverBench、CombiBench 以及三個 FATE 分割,全都是自然語言數學到 Lean-4 的翻譯任務。ZoomGain-9B 從未在其中任何一個上運行過,也沒有理由相信它會表現良好,因為它的訓練中沒有任何內容涉及形式語言。

這不是關於基準測試的技術細節。這是決策的整體樣貌。如果你的任務會產出圖像並接收簡短的事實性答案,MathForm-8B 是無法嘗試此任務的文本模型。如果你的任務會接收數學陳述並產出可供機器檢查的 Lean 4 證明,ZoomGain-9B 是從未被要求執行此任務的視覺模型。兩者沒有可供衡量的重疊,這意味著誠實的比較在於建構方式、證據與營運成本——而這些結果差異極大。

兩個都很小的 RL 配方,以及它們之間的差異

ZoomGain 的訓練集包含 9,000 筆資料,涵蓋 7,713 張來源影像。訓練設定為一個 epoch、batch size 為 64、每個問題取樣八次 rollout,並採用 GRPO;其獎勵函數會檢查所選選項是否與參考答案相符。這些資料是生成的,並非人工標註:多個模型先定位出一個區域,再為裁切影像加上說明文字,並將其與全場景的說明文字進行比較;裁切影像所揭示的細節則會變成關於整張影像的問題。人工參與僅限於篩選;論文明確指出,整個過程沒有進行任何人工問答編輯。

MathForm 的訓練集是 FormalVerse,約有 367,000 個經過驗證的 Lean 4 範例。先進行監督式微調,然後使用來自 Lean 編譯和語意一致性檢查的回饋進行強化學習。資料建構在生成前使用 Mathlib 檢索,並在生成後進行迭代精煉,由編譯器診斷引導修訂。

• 基礎模型 — ZoomGain-9B 是從 Qwen3.5-9B 後訓練而來(32 層、隱藏維度 4,096、中間維度 12,288、262,144 個位置、3:1 的線性注意力與全注意力排程)。MathForm-8B 是從 Qwen3-8B 後訓練而來(36 層、全為全注意力、隱藏維度 4,096、中間維度 12,288、40,960 個位置、32 個查詢頭對 8 個 KV 頭、頭維度 128、rope theta 1e6)。

• 共享維度——兩者都從其 Qwen 母模型繼承了 4,096 的隱藏寬度與 12,288 的中間寬度,這是它們之間最引人注目的單一巧合,而且是該模型家族的特性,並非微調所致。

• 詞彙量——ZoomGain-9B 有 248,320 個詞元,而 MathForm-8B 則有 151,936 個。MathForm 的詞彙表屬於 Qwen3 世代,這點很重要:Lean 4 程式碼、Unicode 數學符號與證明詞元在兩者中的分詞方式不同。

• 背景 — ZoomGain-9B 的模型卡未說明任何內容,而其設定宣告為 262,144;MathForm-8B 的設定宣告為 40,960,且其建議的服務指令上限為 16,384,並搭配 16,384 個 token 的 max_new_tokens。就自動形式化而言,輸出長度才是關鍵限制,而非輸入。

• 模態 — 其中一個以影像和文字為輸入、以文字為輸出;另一個以文字為輸入、以文字為輸出。

• 授權 — ZoomGain-9B:程式碼為 Apache 2.0,檢查點條款延後處理,且 Hub 中介資料中沒有授權標籤。MathForm-8B:Apache 2.0,儲存庫中有 LICENSE 檔案。

• 發佈形式 — ZoomGain-9B 提供 BF16,以及 F16、Q8_0 與 Q4_K_M 的 GGUF。MathForm-8B 則有分成四個分片的 BF16 safetensors,總計約 16.4 GB,另有社群提供的 GGUF 與 MLX 版本,但本身沒有廠商提供的量化版本。

Generated two-column comparison card titled ZoomGain-9B vs MathForm 8B, with each column headed by a model name and rows labelled Parameters, Modality, Base model, Vocabulary, Context and Licence, carrying values including Qwen3.5-9B and Qwen3-8B for the base model, 248,320 and 151,936 for vocabulary, and 262,144 and 40,960 for context.

MathForm-8B 的數字,以及為什麼它們比看起來更容易核對

OpenBMB 報告其六項基準測試中,語法檢查 pass@8 平均為 88.06%,一致性檢查 pass@8 平均為 72.37%。在同一張表中,ReForm-8B 達到 81.76 與 66.21,Goedel-Formalizer-V2-32B 達到 78.28 與 63.74,StepFun-Formalizer-32B 達到 63.65 與 44.47。三個 FATE 分割正是專門化模型崩潰、而 MathForm 則否的地方:FATE-X 落在語法 54.00 與一致性 37.00,相較於 ReForm-8B 的 45.00 與 21.00。

有兩件事讓那些數字比典型的廠商表格更可信。第一,這些任務具有機械性,而感知任務並非如此——Lean 4 陳述要麼能編譯,要麼不能,而一致性檢查會將語意與來源命題進行比對。一個部分可機器驗證的基準更難被樂觀地評分。第二,論文指出僅經 SFT 的模型表現更差:MathForm-8B-SFT 的語法得分為 84.38,一致性得分為 66.53,因此 RL 階段正在做可衡量的工作,而不是為一個已完成的模型作裝飾。

{{1}}還有一個值得引用的比較,因為它與模型自身的框架相牴觸。{{/1}} 在同一組六項基準上,{{2}}Qwen3.7-Plus——一個通用商業端點——的語法得分為 86.33、一致性得分為 83.38。{{/2}} {{3}}MathForm-8B 在語法上以 1.7 分擊敗它,但在一致性上落後 11 分。{{/3}} {{4}}這個專門的微調模型贏得了精確匹配任務,卻輸掉了要求形式化結果與來源含義相同的那項任務。{{/4}} {{5}}如果你的流水線需要一個可編譯的陳述,小型專用模型很划算。{{/5}} {{6}}如果它需要一個忠實的陳述,帶檢索的通用模型可能仍然更勝一籌。{{/6}}

ZoomGain-9B 的數字,採用相同的會計方式

作者報告在 HR-Bench 4K 上為 90.25,而基礎模型為 82.13;在 V*Bench 上為 93.19,對比 86.91;在 VisualProbe 上為 56.31,對比 44.66;在 MMVP 上為 70.00,對比 60.00;在 O3-Bench 上為 68.12,對比 56.52。十三個基準的留出平均為 66.10,對比 59.75。在 ZoomGainBench——這個以與訓練資料相同流程建構的基準——模型得分為 55.48,而論文將該欄標為「Held-in」,而非掩蓋這項區別。

與 MathForm 證據的結構性差異在於,ZoomGain 的基準無法以同樣的方式進行機器驗證。選擇題答案採用完全匹配,計數是對整數進行完全匹配,OCR 則以 ANLS 評分——但問題本身是生成的,而作者自己的檢查方式是答案可在裁切後的檢視畫面上驗證。一個答案經過驗證的生成問題,仍然是一個生成問題。

兩個發布版本在部分製作過程中都使用了模型作為標註者。ZoomGain 的附錄列出了各角色:Qwen3.5-397B-A17B 負責場景描述、定位與最終選擇題驗證;Qwen3-VL-235B-A22B-Instruct 與 Kimi-K2.6 負責基於裁切影像的驗證與盲答;DeepSeek-V4-Pro 負責干擾選項分群。MathForm 的 FormalVerse 是由一套流程建構而成:先從 Mathlib 擷取,再讓編譯器否決不良生成。一套流程倚賴無法被說服讓步的驗證器;另一套則倚賴模型檢查其他模型的工作,並僅以人工篩選。

Screenshot of the first page of the ZoomGain paper on arXiv, showing the title ZoomGain: Mining Global-to-Zoom Perception Gaps for Fine-Grained Visual Supervision, the seven-author list with affiliations at Ant Group, Zhejiang University, Om AI Research and the Binjiang Institute, the abstract, and the identifier arXiv:2611.14076v1 dated 10 November 2026.

用你的營運團隊會問到的說法來提供它們

ZoomGain-9B 在 BF16 下為 18.82 GB,可在 vLLM 0.19.1 搭配 transformers 5.7.0(即作者使用的確切版本)下執行,也可在支援 Q​wen3.5 多模態的 llama.cpp 組建下,使用 GGUF 檔案加上投影器來執行。其以線性注意力為主的骨幹在長序列長度下仍能讓 KV 快取維持在精簡規模,而當單一請求攜帶的是高解析度影像而非長文件時,這正是關鍵特性。

MathForm-8B 在 BF16 下約為 16.4 GB,由 vLLM 以 16,384 的最大模型長度提供服務,或由 SGLang 以相同上下文提供服務,溫度為 0.6、top-p 為 0.95,輸出預算為 16,384 個 token。其評估需要一個運行中的 Kimina Lean Server 與 Lean 4.21.0,而這正是人們低估的部分:你不只是在部署模型,你還要在它旁邊部署一套 Lean 工具鏈。編譯回饋在訓練期間是獎勵訊號,在評估期間則是驗收測試,因此沒有 Lean 的管線無法衡量這個模型是否正常運作。

這兩者目前都不在 OrcaRouter 的目錄中,本文也無意宣稱它們已在其中。我們能做的是把周邊的工作安排好。一條文件處理流程若要讀取掃描頁面、再核對其上的數學運算,就包含兩個部分:視覺呼叫與推理呼叫。一組金鑰即可通行 200 多個模型,並依供應商定價計費、不額外加價,再搭配一套路由規則,把這兩個部分分別送往能達到你標準的端點,而且任一端點停滯時會自動容錯切換——這就是支撐這兩個部分的底層架構,也正是為什麼雙模型流程不必等同於兩家供應商、兩份合約。

哪一個要下載

如果你的問題是形式化的,而且你的工具鏈已經採用 Lean,就選 MathForm-8B。證據更強,授權明確無疑,輸出可由機器檢查,而相對通用模型落後 11 個百分點的一致性缺口,是你投入前應該知道的真實限制。尤其要為 FATE 分割選擇它,因為專門化基線的一致性會降到 21%,而它能保持 37%。

如果你的問題是圖片中的某個細節,而且答案很短,就選 ZoomGain-9B。它在 9,000 個樣本上的留出集增益可信,其基準測試可供下載,因此你可以自行核查這項說法,而授權條款是你在出貨前唯一必須先讀的東西。不要抱著它是一般視覺助理的期待來選它;發佈內容中沒有任何東西測試這一點。

而如果你希望得到一個判定,看哪個是更好的九十億參數模型,版本說明比任何排名都更能回答這個問題:它們是為了對照不同種類的基準真值而打造的,而這些基準真值中只有一種能編譯通過。

Screenshot of the openbmb/MathForm-8B model card on Hugging Face, showing nine likes, the Text Generation task tag, the English and conversational language tags, the openbmb/FormalVerse dataset tag, an Apache 2.0 licence label, the arXiv identifier 2608.14221, a description of autoformalization into Lean 4, and the supervised fine-tuning followed by reinforcement learning recipe.