ZwZ2-4B 対 ZwZ2-9B：同じ深さ、2倍の重み、1.8ポイントの差

同じファミリーの4Bモデルと9Bモデルについての明白な想定は、小さい方が浅いというものだ。ZwZ2-4BとZwZ2-9Bはそうではない。どちらもトランスフォーマー層をちょうど32層備えている。どちらもヘッド次元256で、16個のクエリヘッドに対して4個のキーバリューヘッドを使う。どちらも同じ248,320トークンの語彙と同じ262,144位置のコンテキスト上限を持ち、どちらも同じ3:1の線形アテンション対フルアテンションのスケジュールで動作する。9Bはより深いZwZ2-4Bではない。より幅の広いモデルであり、それがわかれば、この比較の残り——ベンダー自身のスコア差も含めて——は一直線には見えなくなる。

2つのチェックポイントは、時間的にも起源も近い。ZwZ2-4Bは2026年10月15日に、ZwZ2-9Bは10月16日に作成され、どちらもinclusionAIによるもので、同じ20,662問の多肢選択問題データセットに対して同じパイプラインで訓練されており、どちらも公表されていない。両者の違いは、ベースモデル（それぞれQwen3.5-4BとQwen3.5-9B）と、そこから決まる各ブロックの幅にある。

設定差分、そしてそれが意味するもの

2つの設定ファイルを層ごとに読み解くと、真の構造的差異が1つ見つかり、さらにそこから機械的に導かれる差異がいくつか見つかる。

• 深さ — どちらも32層で同一

• 隠れ層の幅 — 4Bは2,560、9Bは4,096で、1.6倍

• フィードフォワード幅 — 中間サイズ 9,216 対 12,288

• アテンションのジオメトリ — クエリヘッド16、キーバリューヘッド4、ヘッド次元256、両方で

• アテンションスケジュール — 24個の線形層と8個のフルアテンション層、両方で

• コンテキスト — 両方とも 262,144 ポジション、M-RoPE は 11/11/10、部分ロータリー 0.25

• 語彙 — 両方とも248,320トークン、4Bでは埋め込みが共有され、9Bでは共有されていない

• ビジョンタワー — 隠れ次元1,024の24層 vs 隠れ次元1,152の27層

• マルチトークン予測 — 両方とも MTP 層はゼロで、投機的ヘッドは各ベースから削除済み

• パラメータ — 4,539,265,536 対 9,409,813,744、2.07 倍

これらの行のうち2つには補足が必要です。9Bモデルにおける非共有埋め込みは、入力行列と出力行列が248,320×4,096の表の別々のコピーであることを意味します。それだけで約20億パラメータを占めており、パラメータ比（2.07）が幅比（1.6）を上回る大きな理由の1つになっています。また、ビジョンタワーは言語スタックとともに拡大します。隠れ次元1,152では27層、1,024では24層となるため、9Bモデルはより広いデコーダだけでなく、より広いエンコーダを通して画像を見ることになります。

数字：より大きな利益、より低い上限

inclusionAIはモデルごとに1つの集計値を公開しています。6つの領域にわたる25のベンチマーク全体での総合精度を、均等に重み付けしたものです。カードに記載された数値そのものを見ると、このファミリーは次のようになります。

• ZwZ2-4B — ベース 49.41、チューニング後 54.79、5.38ポイントの向上

• ZwZ2-9B — ベース 51.63、チューニング後 56.59、4.96ポイントの向上

• ZwZ2-27B — ベース 55.52、チューニング後 60.51、4.99ポイントの向上

つまり、4Bは最も伸び幅が大きく、最終結果は最下位だ。9Bは伸び幅がより小さく、1.80ポイント高い。どちらの記述も正しく、どちらが重要かは、あなたが何を問うかによって完全に決まる。「このトレーニングレシピはどれだけ上積みするのか」という問いなら、答えは4Bで最大になる。「どちらのモデルの方が精度が高いのか」という問いなら、答えは9Bで、1.80ポイント差であり、それをどう枠付けしても変わらない。

これらはすべて、ベンダーが選んだベンチマークセットに対するベンダー報告の数値です。このファミリーのどのメンバーも独立に採点されたことはなく、ベンチマークごとの詳細は本文ではなく図にあります — 各カード上のSVGとPNGです。1.80ポイントの差は、公表されている内容を正直に要約したものであり、あなたも私も再現されたのを見た測定値ではありません。

モデルが大きくなるにつれてゲインが縮小する理由

パターン — 4Bで5.38、9Bで4.96、27Bで4.99 — は、軽く扱うのではなく真剣に受け止める価値がある。小規模モデルに能力を付加する訓練レシピは、隙間を埋めている。ベースモデルには、細かな地域的証拠に注意を向けるための能力も訓練信号もなく、注意深くフィルタリングされた2万問の多肢選択問題が、それが欠いていたスキルを教える。より大きなベースモデルはすでにその能力をより多く持っているため、同じカリキュラムが加えられるものは少ない。データの限界収益は、ベースが良くなるほど下がる。

それが好意的な解釈であり、数値が支持しているのもその解釈だ。好意的でない解釈は、ベンチマークスイートには上限がある、あるいは4択タスクの形式が小規模モデルを不釣り合いに有利にしているというものだ。どちらの解釈も公表された数値と整合している。だからこそ、1.80ポイントの差は大きさではなく方向性として扱うべきだ。

採用にとってより重要な第3の可能性がある。それは、改善が集中している可能性だ。「あらゆるベンチマークで改善」はカードの主張だが、等しく重み付けされた25タスクの平均では、2つの大きな勝利と20の小さな勝利が隠れてしまうことがある。ベンチマーク別の表がなければ――そしてそれは本文中にない――4Bの5.38が一様なのか、このレシピが狙うまさに細粒度の知覚タスクに集中しているのかは分からない。もし集中しているなら、小さいモデルはスペシャリストで9Bはジェネラリストであり、両者を選ぶ際に平均は誤った統計量である。

27Bは対照実験です

3つ目のサイズによって、ファミリーに関する主張を検証できるようになる。ZwZ2-27BはQwen3.6-27B上に構築されている——2つの兄弟モデルとは異なるベース世代だ——そして4.99ポイントの向上を記録しており、これは9Bの4.96とほぼ同じで、4Bの5.38を大きく下回る。もしレシピの価値がデータ品質だけにあるなら、サイズ間で向上幅は横ばいになると期待されるはずだ。そうではなく、4Bが外れ値なのだ。これは容量ギャップの説明と整合し、訓練データが単に均一に優れているという説明とは整合しない。

27Bはまた、このファミリーのリリースに関する実用的な点も明らかにしている。3つのリポジトリは23時間以内に相次いで登場し、4Bが最初で27Bが最後だった。これは段階的なロールアウトではなく、一括プッシュの特徴だ。データセットは10月19日に続いた。ダウンロード数は注目がどこに向かったかを示している。4Bはゼロ、9Bは147、27Bは7だ。まだ誰も本命を選んでおらず、実際に取得されたのは中間サイズだけだ。

配信: 18.8 GB に対して 9 GB

ここでの算術は単純で、それが小さいモデルにとって最も強い論拠だ。ZwZ2-4Bの重みは9.08 GBのBF16ファイルであり、ZwZ2-9Bは同じ精度で約18.8 GBになる。24 GBのカードでは、4Bは余裕のあるKVキャッシュとバッチのための余地を残すが、9Bはほとんど残さない。16 GBのカードでは、4Bは収まるが、9Bは量子化なしでは全く収まらない。

どちらのモデルもホスト型プロバイダーでは提供されていません — Hugging Face のページにはどちらについても推論プロバイダーの記載がありません — したがって、どちらもセルフホスティングの判断になります。ハードウェア面で両者を選ぶのであれば、9B は少し大きいダウンロードではなく、別のマシンクラスです。これが 2.07× というパラメータ比の実用的な意味であり、それを決めるのは 1.80 ポイントの精度差ではなく、あなたのカードです。

知覚に関する挙動を求める一方で、サービングの問題を自ら抱えたくないチームにとって、カタログにおけるホスト型の中間選択肢はqwen/qwen3-vl-8b-instructで、100万入力トークンあたり$0.18、100万出力トークンあたり$0.70、131Kコンテキストです。これは同じモデルではなく、本稿もそう装うことはしません——しかし、ほとんどのチームが実際に必要とする比較であり、OrcaRouterがルーティングする他のすべてと同じキーで動作し、上流が劣化した場合の自動フェイルオーバーも備えています。

単一のチェックポイントを選ぶのではなく、階層型パイプラインを構築するなら、それを表現する場所はルーティング層です。すべての画像をまず安価なモデルに送り、信頼度が低いものだけをより大きなモデルへエスカレーションします。そのルーティングDSLはモデルを単一の呼び出しにまとめるため、エスカレーションは2つ目の統合ではなくルート内のルールになります。ZwZ2のどちらのチェックポイントも現時点で安価な階層にはなれません——ホストされていないからです——が、このパターンこそ、これら2つのモデルが暗に議論しているものです。

どちらを選べばいいですか？

• カードが16GBまたは24GBで、タスクが領域に基づく視覚的証拠であり、このファミリーのベースモデルに対する測定済みの改善幅が最大のものを求めるなら、4Bを選んでください。

• メモリに余裕があり、27B未満のZwZ2チェックポイントでこれまでに公表された中で最高の精度を求めるなら、9Bを選んでください。1.80ポイントは決して無視できません。

• 法務チームが署名するライセンスが必要なら、まだどちらも採用しないでください。どちらのリポジトリもライセンスを宣言しておらず、カードは存在しないライセンスファイルに委ねています。

• 論文が必要なら、どちらも採用しないでください。v2手法には公開された解説がありません。両方のカードに記載されているarXiv識別子は、別のベースファミリーに関する第一世代のZwZ研究のものです。

本当に有用な実験は、他人の25個のベンチマークで4Bを9Bと比べることではない。それは、両方を実行すること——あるいは4Bを自身のベースモデルと比べて実行すること——を、自分の実際のワークロードから取った数百枚の画像に対して行い、5.38が転移するかどうかを見ることだ。誰かがそうするまでは、このファミリーの公表された数値は、あるタスクセット上でのレシピの挙動を述べているのであって、自分のパイプラインについて下せる判断ではない。4Bが興味深いのはまさに、その利得が最も大きく、その証拠が最も薄いからだ。