標題卡寫著 ZoomGain-4B 對 Qwen3.8-27B,副標題為:這 11 個百分點的勝差是針對資料集,而非模型;上方三個標籤寫著 4.54B 對 27.78B 參數、55.81 對 44.81 ZoomGainBench,以及訓練內對訓練外。OrcaRouter 標誌位於右下角。
Guides & Insights

ZoomGain-4B 對比 Qwen3.8-27B:11 分勝差靠的是資料集,而非模型

作者

Rowan Sterling

發佈日期

最新模型 · 20查看全部模型 →
基準測試:Artificial Analysis · 每日更新
返回全部文章

讓這場對決值得寫成一頁的數字,是 55.81 對 44.81。在 ZoomGainBench 這份 1,000 題的細節基準上,它與 inclusionAI 的 ZoomGain-4B一同發布,而一個 45.4 億參數的視覺模型得分比 Qwen3.8-27B 高 11 分;後者是阿里巴巴於八月以 Apache 2.0 釋出的 277.8 億參數稠密模型,能讀取圖像、影片與文字。參數多六倍,卻輸 11 分。讀完產出這兩個數字的論文,差距就不再是關於視力的說法:ZoomGainBench 是由生成 ZoomGain-4B 訓練資料的同一套自動化流程打造,作者們在消融研究裡自己這麼說,而他們真正在競爭的模型根本不是 Qwen3.8-27B——而是另一個資料集。

那並不是駁斥。它是這次發布中最有用的東西,也正是它讓這項比較得以判定:它會告訴你,這兩種模型該選用哪一個,以及當有人要你說明選擇理由時,該引用哪個數字。接下來要拆開這裡常被綁在一起的三種主張——小型專才勝過大型通才、某個資料管線勝過另一個資料管線,以及上述任一項是你這個月該更換技術堆疊的理由。

發布了什麼,又有多低調

ZoomGain-4B 的儲存庫於 2026 年 11 月 10 日 11:38 UTC 在 Hugging Face 建立,最後修改於 11 月 11 日。論文 arXiv 2611.14076 於 11 月 10 日提交。GGUF 儲存庫於 11 月 11 日 03:13 UTC 有活動紀錄。撰寫本文時,兩個儲存庫都顯示零下載、零按讚,沒有推論服務供應商對應到此模型,也沒有任何廠商發布貼文、部落格文章或新聞稿。模型卡自身的 Updates 清單日期為 11 月 11 日,是唯一的公告:三行文字說明論文、基準測試、RL 資料集與檢查點均已發布。

所以,誠實的說法是:它是低調推出的,並未對外公告。以下凡是來自程式碼儲存庫的內容,今天都能查證;至於這個模型在作者們的評測框架之外行為如何,目前尚未獲得確認,因為螞蟻集團與浙江大學以外,還沒有任何人實際跑過並回報結果。

在比較開始前,值得先掌握這兩個關於儲存庫的細節,因為兩者都會限縮你能用它做的事。

• 架構。一個 Qwen3.5-4B 衍生模型——32 層、隱藏大小 2,560、16 個查詢頭對 4 個 KV 頭且頭維度為 256、線性 DeltaNet 與完整注意力以 3:1 排程配置、最大位置數 262,144、詞彙表 248,320 個 token,以及一個隱藏大小 1,024 的 24 層視覺編碼器。總計(含編碼器與投影器)為 4,539,265,536 個參數。

• 授權條款。這張卡片的「授權」區塊涵蓋程式碼,其授權為 Apache 2.0,接著則交由以下說明:「各資料集與檢查點的條款,請參閱 Hugging Face 卡片。」檢查點卡片則完全沒有授權標籤。Qwen3.8-27B 明確採用 Apache 2.0。如果你需要一份能交給律師的授權,這種不對稱正是你首先會遇到的問題,而這次發布中沒有任何內容能解決它。

Screenshot of the inclusionAI/ZoomGain-4B repository on Hugging Face, captured 11 November 2026, showing the repository header with zero likes, the Safetensors, qwen3_5 and arxiv:2611.14076 tags, the model card beginning with a missing-YAML-metadata warning, and an Inference Providers panel stating the model is not deployed by any provider.

唯一將兩款型號並列展示的清單

ZoomGainBench 是一項包含 1,000 道題目的雙語基準測試,涵蓋 941 張圖片:472 道屬性辨識題(每題有四到六個選項)、94 道計數題,以及 434 道 OCR 題,每題皆有英文與中文版本,因此共有 2,000 個評估實例。二十八個模型在同一套測試框架下運行——相同的系統提示、溫度設為 0、每個 Q​wen 檢查點都停用思考功能,非代理式模型則設為 2,048 個輸出 token。該領域的最佳結果是 GPT-5.6-Sol 的 61.08,且僅有五個模型超過 50。

Qwen3.8-27B 的總分達到 44.81:英文 43.84,其中屬性 40.25、計數 54.26、OCR 45.49,中文則為 45.78。ZoomGain-4B 出現在訓練表而非基準表中,達到 55.81。這兩個數字都是在相同評分規則下的雙語總分,因此這是此次發布所能提供、最接近控制變因的配對比較;而在此比較中,4B 以 11.00 分勝出。

• 參數。 4.54B 對 27.78B——相差 6.1 倍,而這個方向正是讓結果令人意外的地方。

• 每個模型當初的設計用途。 ZoomGain-4B 是將 Qwen3.5-4B 在 9,000 個挖掘出的問題上進行一個 epoch 的 GRPO,共 140 步、批次大小 64、每個問題八次 rollout、學習率 1e-6、不含 KL 項。Qwen3.8-27B 則是具備推理模式、工具呼叫與影片路徑的通用稠密模型。

• 訓練資料。 其中一個有 9,000 道問題。另一個則使用 Alibaba 全部的預訓練與後訓練語料庫,規模未披露。

• 可用性。ZoomGain-4B:三種 GGUF 精度與獨立的投影器檔案,無託管端點。Qwen3.8-27B:Apache 2.0 權重、FP8 版本、740 萬次下載,以及你今天就能呼叫的端點。

Two-column scoreboard titled ZoomGain-4B vs Qwen3.8-27B, left column ZoomGain-4B with Parameters 4.54B total, Modality text and image, Context 262K positions, Price self-host only, ZoomGainBench 55.81 held-in, Licence none stated on card; right column Qwen3.8-27B with Parameters 27.78B dense, Modality text, image and video, Context 262K extensible to 1M, Price $0.33 in and $2.40 out, ZoomGainBench 44.81, Licence Apache 2.0. The footer reads ZoomGain Bench scores author-reported, unreproduced; ZoomGain-4B figure is held-in; Qwen price per OrcaRouter catalogue.

該論文實際建立的比較

當這次發布被簡化成「4B 勝過 27B」時,這裡正是會漏掉的部分。這篇論文需要為自家資料建立基線,而它確實用了一個:ZwZ,一個透過區域到影像蒸餾建構的 ICML 2026 細粒度感知資料集。兩邊都接受完全相同的處理。抽樣了一萬兩千張影像,並生成 23,610 個問題;基準測試取了 1,000 個;其餘則產生 8,746 組與影像配對的問題對,另有 254 組在兩邊各重複一次,使每組達到 9,000。相同影像、相同基礎檢查點、相同超參數、相同 140 步。唯一的變數是問題。

在論文報告的每一個面向,ZoomGain 資料都勝過 ZwZ 資料。在 Qwen3.5-4B 上,held-in 分數從 40.99 提升到 55.81,而十三個基準的 held-out 平均值從 58.94 提升到 63.96;在 Qwen3.5-9B 上,同一對數字則是從 44.07 到 55.48,以及從 62.53 到 66.10。這是關於如何產生監督訊號的一項真實且控制良好的結果,而這正是論文標題所要表達的貢獻。

Qwen3.8-27B 對該論點毫無貢獻。它只出現一次,作為其他 27 個受測模型中的單一列。它是一把尺規——一個在無人為其訓練過的分布上受測的稱職通才——而非競爭者。論文本身明確指出,它所利用的落差是共有的:全域視角錯誤干擾項占全部 28 個模型所有錯誤答案的 71.7%,高於在選項中隨機選擇會產生的 54.5%;而未參與建構該基準測試的四個閉源模型也表現出相同行為,為 75.7%,相對於預期的 57.4%。

消融實驗是反對這則頭條標題最有力的論據。

作者對自己做了顯而易見的合理性檢查,而結果是論文中最具資訊量的表格。他們在相同的 9,000 道問題上重新訓練了兩次,每次移除定義其流程的兩項設計選擇之一:問題只能由完整圖像中不可見的細節構建的規則,以及專門的干擾選項生成階段。

• 完整流程。 ZoomGainBench 55.81;消融實驗所報告的十個留出基準的平均值為 60.96。

• 專用干擾項已移除。 ZoomGainBench 46.85——在 held-in 測試中損失 8.96 分——以及十項基準測試平均值 59.14,損失 1.82。

• 增量證據已移除。 ZoomGainBench 49.71,下降 6.10——而十項基準平均為 58.57,下降 2.39。

這兩個設計選擇在 ZoomGainBench 上都值六到九分,在其他所有評測上則約值兩分。作者直言箇中原因:移除專用干擾項「會在 held-in ZoomGainBench 上造成最大跌幅」,因為「該基準的選項是用同一套流程建構出來的」。換句話說,在產出那個頭條數字的基準上,約四分之三的亮眼增益,來自模型學會回答該流程所寫出的那類問題,而不是學會看得更好。

真正留存下來、且仍具實質分量的成果如下。在訓練從未觸及的十三項基準上,Qwen3.5-4B 從 57.86 提升到 63.96——9,000 個樣本帶來 6.10 分——而最大增幅正好落在這套流程鎖定的家族:HR-Bench 4K 從 81.25 升至 87.25、V*Bench 從 81.68 升至 90.05、VisualProbe 從 43.30 升至 57.28、O3-Bench 從 54.20 升至 63.19。有一項基準退步:TreeBench,從 49.38 降至 49.14,差了五分之一分。通用多模態套件 MMStar 從 66.80 升至 72.53,而 BabyVision 仍表現不佳,停留在 21.13。

那個表現輪廓是窄幅介入的典型特徵,也是你應該據以規劃的輪廓。模型變得更擅長解析場景中的細小事物。它並沒有成為更好的通才,而那些說不是如此的算術,只是在它自己的基準上做的算術。

基準測試實際要求的是什麼,因為那正是你會買到的東西

如果預期用途是進行細節檢查,測驗的組成比總分更重要,而該論文的錯誤分析對此格外具體。

• 小型錨點佔主導。對每個模型群組而言,準確率會隨著查詢細節所佔的影像比例增加而上升:對全部 28 個模型取平均,從最小四分位組(錨點覆蓋不到影像的 0.4%)的 28.9%,上升到最大四分位組的 55.2%。

• 計數就是小數字計數。 94 個計數問題中有 67 個的正確答案至多為三,而 71.6% 的錯誤數值答案恰好相差一。困難在於釐清少數幾個小型實例,而非列舉大量實例。

• 屬性辨識是困難類別。 在 28 個模型中有 23 個在此類別得分最低,而在選項間均勻猜測就已能達到約 21.5%。

• 這種失效模式是「場景上說得通的替代」。在一個有記錄的案例中,56 次評估裡有 46 次把卡車儀表板上的一個白色物件說成橘色——這顏色的確可能是站在它前方那名工人所穿背心的顏色。在另一個案例中,幾乎每一次評估都說出某個冰上曲棍球裝備品牌,而非衣服上實際印著的標誌。模型不會說「我看不到」;它們是根據上下文作答。

這種失效模式正是這類訓練的實用論據,因為它也正是讓文件處理流程在掃描發票上悄然出錯的同一種失效模式。這同樣是對其進行衡量的理由:一個會以貌似合理的答案取而代之的模型,會產生自信的輸出,因此下游沒有任何環節能察覺到它。

Qwen3.8-27B 在哪個不同的房間裡

44.81 是真的,而且它也是本文中 Qwen3.8-27B 在這裡被評判的唯一數字。它自己的模型卡所報告的完全是另一組內容,而且其中沒有任何一項能與 ZoomGain 的數字相比,因為這兩個模型從未針對這些項目在相同的測試框架上運行過。

• 代理式編碼。Terminal Bench 2.1 為 73.0,SWE-bench Pro 61.7,LiveCodeBench v6 90.3,QwenSWEBench 79.0——全數由廠商在 Qwen 自家模型卡上回報,並同步公布測試框架註記。

• 推理與電腦使用。 GPQA Diamond 89.2、HLE 30.8、OSWorld-Verified 84.3、WebArena-Verified 64.8。

• 多模態工作。 OmniDocBench 1.5 達 91.1,CharXiv 推理在未注入思維鏈時為 83.7,注入後為 90.2,RealWorldQA 85.9,MathVision 90.0。

• 能力範圍。 預設開啟思考,並將 reasoning_effort 設為 xhigh、medium 或 low,跨回合保留思考,原生工具呼叫,結構化輸出,影片輸入,原生支援 262,144 個位置,並可擴展至一百萬個。

ZoomGain-4B 並未在任何這些評測上受測,也不預期會在其中任何一項有好表現:它的訓練從未接觸程式碼、終端機任務、文件或圖表。它也沒有任何在思考模式下回報的評測結果——該版本自帶的測試框架是在關閉思考、溫度設為 0 的情況下執行,因此所有已公布的資訊描述的都是它直接作答的行為。Qwen3.8-27B 的 44.81 也是以相同方式測得,即 enable_thinking=false,而這正是讓此比較公平的關鍵,也正是讓 Q​wen 最佳模式未受檢驗的關鍵。

說白了:在 ZoomGain-4B 受訓所針對的軸線上,它勝出;而在 Qwen3.8-27B 所建構的軸線上,4B 根本不在場。這兩點都不令人意外,而把其中任何一點當成全部真相,正是比較頁面變得毫無用處的原因。

每個選項的建置成本,以及你今天就能聯絡的那一個

這正是兩者分歧之處,而這種分歧決定的是部署,而非基準測試。

ZoomGain-4B 在任何地方都沒有託管端點。實際存在的是 BF16 儲存庫,一個語言模型加上一個獨立視覺編碼器共 45.4 億個參數,以及三種 GGUF 組建:Q4_K_M 為 2.71 GB、Q8_0 為 4.48 GB、F16 為 8.42 GB,各自搭配專屬的mmproj投影器——分別為 0.23 GB、0.36 GB 與 0.67 GB——GGUF 說明卡指出這是影像輸入所必備的。要執行它,需從夠新的 llama.cpp 組建中使用 llama-mtmd-cli 或 llama-server,且該組建必須能辨識 Qwen3.5 多模態;要以完整精度執行,則需 vLLM 0.19.1 搭配 transformers 5.7.0。沒有 MLX 組建、沒有 ONNX、沒有用於推測解碼的草稿模型,而且如果你的組建故障,也沒有任何供應商可以作為備援.

Qwen3.8-27B 已收錄於 OrcaRouter 目錄中,而我們是在自有基礎設施上運行這些權重,而非轉售他人的端點——這正是為什麼我們模型頁面上的價格就是實際價格,沒有額外加價,中間也沒有任何供應商定價被加價。每百萬輸入 token 0.33 美元,每百萬輸出 2.40 美元,支援文字、圖像與影片輸入,262,144 token 上下文,以及單一金鑰。同一把金鑰也能存取 Qwen3.8-Flash,每百萬 token 分別為 0.15 美元與 0.47 美元,並提供一百萬 token 的視窗;以及 Qwen3.8-Max,每百萬 token 分別為 2.00 美元與 6.00 美元,因此當工作負載超出 27B 或需要更長視窗時,無需第二份合約或修改程式碼即可轉移。故障轉移是任何正式生產型應用都關鍵的一環:供應商停滯時,會在回應開始前重試,而不是等到你的請求逾時後才重試。

Screenshot of the OrcaRouter model page for qwen/qwen3.8-27b, captured 11 November 2026, showing the model title with a 262K token context badge, text, image and video input, the description noting Apache-2.0 weights self-hosted on OrcaRouter, the $0.33 input and $2.40 output per million token figures, a latency readout, and a code sample calling the model through the OpenAI-compatible endpoint at api.orcarouter.ai.

ZoomGain-4B 不在那份目錄中,也無法透過我們呼叫。它是一個由你自己提供的權重資料夾,而這個建議的誠實版本必須從那裡開始。

誰應該行動,以及什麼仍未確認

如果你處理的是以影像為主的工作,而答案往往取決於某個小細節——標籤上的料號、螢幕上的某個顏色、到底是兩顆螺絲還是三顆——那麼一個專門針對這類任務做過強化學習訓練的 4.54B 模型,以 Q4_K_M 量化格式在本地執行、佔用 2.71 GB,就是一個可信又便宜的第三方意見,可以跟一個託管的通用模型並行使用。是並行,不是取而代之。專才模型的失敗模式是自信地張冠李戴,而這正是通用模型檢查時能抓到的錯誤,反之亦然。

如果你的工作負載是文件、圖表、螢幕截圖、影片、程式碼或代理程式,27B 就是該呼叫的模型;而它在一個沒有人為此訓練過它的細節導向基準測試上取得 44.81,並不是讓你改變想法的理由。

哪些仍未確認,值得持續觀察而非假定:

• 權重授權條款。Apache 2.0 涵蓋程式碼。檢查點本身並未附上授權標籤,而模型卡只援引「各資料集與檢查點各自的條款」,卻未實際說明這些條款為何。在這個問題解決之前,商業部署得去請教律師,不是勾個選項就能了事。

• 任何重現。 上述每個數字皆由作者自行報告,且是在作者自己的測試框架上產生的。基準測試與評估器都是公開的,因此可受檢驗,但螞蟻集團與浙江大學以外的任何人尚未檢驗過。

• 增益是否能泛化到管線之外。 該信任的是留出集數字,它們並不亮眼——比基礎模型在十三項基準的平均值高出 6.10 分——而且明顯偏向訓練所針對的細粒度類別。這是否能轉移到你的圖像上,仍是發佈版本未回答的開放問題。

• 它在 Q4 下是否仍能維持水準。GGUF 卡提醒量化可能影響準確度,而目前沒有任何公開資料在 ZoomGainBench 上將量化版本與 BF16 檢查點進行比較。對於一個全部價值都在於精細細節的模型,這正是你在信任一個 2.71 GB 檔案之前該做的實驗。