ZwZ2-4B 對 ZwZ2-9B：深度相同、權重加倍，差距 1.8 分

對於同一個系列中的 4B 模型與 9B 模型，顯而易見的假設是較小者較淺。 ZwZ2-4B 與 ZwZ2-9B 並非如此。兩者都明確標示恰好 32 層 Transformer。兩者都在頭維度為 256 的情況下，使用 16 個查詢頭對 4 個鍵值頭。兩者都具備相同的 248,320 個 token 詞彙表，以及相同的 262,144 個位置上下文上限，且兩者都採用相同的 3:1 線性對完整注意力排程。9B 並不是更深的 ZwZ2-4B；而是更寬的版本，而一旦你明白這一點，這場比較的其餘部分——包括廠商自己的分數差距——就不再像是一條直線。

這兩個檢查點在時間和來源上也很接近。ZwZ2-4B 建立於 2026 年 10 月 15 日，ZwZ2-9B 建立於 10 月 16 日，兩者皆由 inclusionAI 製作，且都是用同一套流程在相同的 20,662 道選擇題資料集上訓練而成，且兩者均尚未發布。它們的差異在於基礎模型——分別是 Qwen3.5-4B 和 Qwen3.5-9B——以及由此衍生的每個區塊的寬度。

設定差異，以及它代表什麼

逐層比對這兩個設定檔，會發現一處真正的結構性差異，以及數項由此機械性衍生的差異。

• 深度 — 兩者皆為 32 層，完全相同

• 隱藏層寬度——4B 為 2,560，9B 為 4,096，相差 1.6 倍

• 前饋寬度 — 中間大小 9,216 對 12,288

• 注意力幾何 — 16 個查詢頭、4 個鍵值頭、頭維度 256，兩者皆同

• 注意力排程 — 24 個線性層與 8 個全注意力層，兩者中皆

• 上下文 — 兩者皆為 262,144 個位置，M-RoPE 為 11/11/10，部分旋轉為 0.25

• 詞彙 — 兩者皆為 248,320 個 token，4B 使用綁定嵌入（tied embeddings），9B 使用非綁定嵌入（untied）

• 視覺塔（Vision tower）—— 隱藏維度為 1,024 時有 24 層，而隱藏維度為 1,152 時則有 27 層

• 多 token 預測 — 兩者皆為零 MTP 層，且每個基礎模型的推測頭均已移除

• 參數量 — 4,539,265,536 對 9,409,813,744，相差 2.07 倍

其中兩列值得特別說明。9B 中未綁定的嵌入（untied embeddings）意味著它的輸入與輸出矩陣是 248,320×4,096 表格的兩份獨立副本；光是這樣就佔了約 20 億個參數，這也是參數比例（2.07）高於寬度比例（1.6）的重要原因。而且視覺塔會隨著語言堆疊一起成長——1,152 隱藏維度下有 27 層，對比 1,024 下有 24 層——所以 9B 是透過更寬的編碼器來看影像，而不只是更寬的解碼器。

數字：更大的增幅，更低的上限

inclusionAI 為每個模型公布一項彙總指標：涵蓋六個領域共 25 項基準測試的整體準確率，各項權重相同。依模型卡本身提供的數字，該系列表現如下。

• ZwZ2-4B — 基準 49.41，調校後 54.79，提升 5.38 分

• ZwZ2-9B — 基準 51.63，微調後 56.59，提升 4.96 分

• ZwZ2-27B — 基礎 55.52，微調後 60.51，提升 4.99 分

所以 4B 的增益最大，最終卻墊底。9B 的增益較少，最終卻高出 1.80 分。這兩種說法都成立，而哪一種說法重要，完全取決於你問的是什麼問題。如果問題是「這套訓練配方帶來多少增益」，答案在 4B 上最大。如果問題是「哪個模型更準確」，答案是 9B，高出 1.80 分，而且不管怎麼表述都改變不了這件事。

這些全都是廠商自行提報的數字，跑的是廠商自己挑的基準測試集。這個系列裡沒有任何一款受過獨立評分，而各項基準測試的細節是放在圖表裡，不是寫在文字中——每張卡上各有一份 SVG 和一份 PNG。1.80 分的差距，是對已公布內容的忠實概括；這並不是你我曾見過有人重現的實測結果。

為什麼模型越大，增益反而越小

這個模式——4B 時為 5.38、9B 時為 4.96、27B 時為 4.99——值得認真看待，而不是輕輕帶過。能為小模型增添能力的訓練配方，其實是在填補缺口：基礎模型原本沒有足夠的容量或訓練訊號去關注細緻的區域性證據，而 20,000 道精心篩選的選擇題教會了它一項原本欠缺的技能。較大的基礎模型本就具備更多這類能力，因此同樣的課程能增添的東西較少。隨著基礎模型變得更好，資料的邊際報酬會下降。

那是善意的解讀，也是數字所支持的一種。苛刻的解讀則是，基準測試套件存在上限，或者四選項任務形式不成比例地有利於小模型。這兩種解讀都與已公布的數字相符，因此1.80點的差距應被視為方向，而非幅度。

還有第三種可能性，對是否採用更關鍵：增益可能集中在少數地方。「在每個基準上都有所提升」是模型卡上的說法，但對 25 個等權重任務取平均，可能掩蓋兩項大幅勝出和二十項小幅勝出。沒有逐基準的分項表——而文中並沒有——你就無法判斷 4B 的 5.38 是均勻分布，還是恰好集中在這套配方所鎖定的細粒度感知任務上。如果增益是集中的，小模型就是專才，9B 是通才，而平均數並不是在兩者之間做選擇時該用的統計量。

27B 是對照實驗

第三個尺寸讓「家族論證」得以被檢驗。ZwZ2-27B 建構於 Qwen3.6-27B 之上——與其兩個同系列版本屬於不同的基礎世代——並交出 4.99 點的增益，基本上與 9B 的 4.96 相當，且遠低於 4B 的 5.38。如果這套配方價值僅在於資料品質，你會預期各尺寸的增益持平。實際情況卻是 4B 成了離群值。這與「容量落差」的說法相符，而與「訓練資料就是一律極優」的說法不符。

27B 也釐清了這個系列發布的一個實際問題。三個儲存庫在彼此相隔 23 小時內出現，4B 最先、27B 最後，這是批次推送而非分階段推出的特徵。資料集隨後於 10 月 19 日發布。下載次數說明了關注流向：4B 為零、9B 為 147、27B 為七。還沒有人選出最愛，而中型尺寸是唯一有人拉取過的版本。

供應：9 GB，對比 18.8 GB

這裡的算術很簡單，也是支持較小模型最有力的論據。ZwZ2-4B 的權重是一個 9.08 GB 的 BF16 檔案；ZwZ2-9B 在相同精度下約為 18.8 GB。在 24 GB 的顯卡上，4B 還能留下充裕的 KV 快取與批次空間；9B 則所剩無幾。在 16 GB 的顯卡上，4B 放得下，9B 若不量化則完全放不下。

這兩個模型都沒有由託管供應商提供服務——Hugging Face 頁面顯示兩者皆無推論供應商——因此兩者都屬於自行託管的決策。若你是基於硬體條件在兩者之間做選擇，9B 屬於另一個等級的機器，而不只是稍微大一點的下載檔。這就是 2.07 倍參數量比例在實務上的意義，而決定這件事的是你的顯示卡，不是那 1.80 個百分點的準確率差距。

對於想要具備感知行為、又不想自行承擔服務問題的團隊，目錄中託管的中間方案是 qwen/qwen3-vl-8b-instruct，每百萬輸入 token 為 $0.18、每百萬輸出 token 為 $0.70，並提供 131K 上下文。它不是同一個模型，本文也不會假裝它是——但這正是多數團隊真正需要的比較，而且它與 OrcaRouter 所路由的其他一切使用同一把金鑰，並在上游服務品質下降時自動容錯移轉。

如果你要建立的是分層式管線，而不是只挑一個檢查點，路由層就是表達這件事的地方：先把每張圖片送到成本較低的模型，只把信心度偏低的圖片升級給更大的模型處理。routing DSL 會把多個模型組合成單次呼叫，因此升級只是路由中的一條規則，而不是另一套整合。目前兩個 ZwZ2 檢查點都還不能擔任低成本層——它們尚未託管——但這個模式正是這兩個模型暗自爭論的焦點。

該選哪一個

• 若你的顯示卡為 16 或 24 GB、任務是需以區域為依據的視覺證據，且想要此系列中相對基礎模型幅度最大的實測改進，就選 4B。

• 如果你的記憶體空間還有餘裕，而且你想要在 27B 以下的 ZwZ2 checkpoint 中取得任何人已發表過的最高準確率，就選 9B。這 1.80 個百分點可不容小覷。

• 若你需要一份由法律團隊簽署的授權條款，目前兩者都先別採用。這兩個儲存庫都未宣告授權條款，而卡片則指向一份並不存在的授權條款檔案。

• 如果你需要一篇論文，兩者都別選。v2 方法沒有公開的書面說明；兩張卡片上的 arXiv 識別碼都屬於第一代 ZwZ 研究，而該研究是基於不同的基底族。

真正有用的實驗，不是拿 4B 去對上 9B、跑別人那 25 個基準測試；而是把兩者都跑一遍——或讓 4B 對上自己的基底模型——用你實際工作負載中的幾百張影像來跑，看看那個 5.38 是否能遷移過來。在有人這麼做之前，這個家族公布的分數描述的是某套配方在一個任務集上的行為，而不是你能對自己管線做出的決策。4B 之所以有意思，正是因為它的增益最大、證據卻最薄弱。