ZwZ2-27B vs ZwZ2-9B：パラメータが3倍になると、実際に何が得られるのか

inclusionAIの25テスト表のうち、ちょうど1つのベンチマークで小さい方のモデルが勝つ。チャートから値を読み取る「Chartography」では、ZwZ2-9Bが13.00、ZwZ2-27Bが12.00というスコアだった。どちらも低い。どちらも良好とは言えない。だが興味深いのは方向性だ。というのも、この2モデルは同じ実験を2つのサイズで行ったもので、1つの学習レシピ、1つのデータセット、1つの論文手法を、それぞれQwen3.5-9Bの本体とQwen3.6-27Bの本体に適用したものだからだ。レシピが同一で、大きいモデルにパラメータ3倍分の価値があるなら、そのサイズが実際にどこで表れるかという算術は、見出しの総合スコアが示唆するより驚きだ。

冒頭で述べておく価値もあるのは、両モデルが同じように静かに登場したということだ。ZwZ2-9B のリポジトリは 2026年10月16日 03:42 UTC に作成され、ZwZ2-27B のものは同日朝の 05:42 に作成された。どちらも重みのみを伴い、10日間はドキュメントがなかった。そして両方とも、10月26日に完全なベンチマーク表付きのモデルカードを受け取った。どちらもライセンスを明示していない。どちらも論文を公開しておらず、カードには依然としてプレースホルダーの PAPER_URL が含まれている。

1つのレシピ、2つの身体

学習手法は両者で単に類似しているだけでなく、同じ手法を2つのバックボーンに適用したものであり、そのため比較が異例なほどクリーンになっている。EvidenceConnectは、SA-1B画像から3〜7個の関連領域をグループ化し、特権的にズームしたクロップを用いて質問を生成し、モデル間の一致と1領域を除くテストでそれらの質問をフィルタリングし、残ったものを4択タスクに変換し、GRPOで学習する — 教師あり微調整の段階はない。両モデルとも約20,000件の学習例を使用している。

本文は通常の方法で異なります：

• 規模 — 隠れサイズ4,096、32層で9Bパラメータ。対して、隠れサイズ5,120、64層で27B。

• アテンション — 9Bでは次元256で16個のクエリヘッドと4個のKVヘッド、一方27Bでは同じ次元で24個のクエリヘッドと4個のKVヘッドです。

• フィードフォワード — 中間サイズ 12,288 対 17,408。

• Vision — 両方とも同じタワー：隠れサイズ1,152の27層で、それぞれ4,096と5,120に投影。

• コンテキストと語彙 — 262,144 ポジションおよび 248,320 トークンで同一。

• マルチトークン予測 — 両方から削除され、mtp_num_hidden_layers は 0 に設定されています。

• ベースモデル — 小さい方は Qwen3.5-9B、大きい方は Qwen3.6-27B。これが比較を複雑にする詳細であり、次のセクションではその理由を扱います。

3.92ポイントの全体的な差が実際にどこから生じているのか

引き算をする前に予想していなかった発見はこれです。全体平均は ZwZ2-27B が 60.51、ZwZ2-9B が 56.59 で、その差は 3.92 ポイントです。では、各レシピがそれぞれのベースモデルに何を上乗せしたのかを見てください。それは同じ研究所が、同じ評価ハーネスで、同じ表に公表しています。

• ZwZ2-27B — ベースのQwen3.6-27Bが55.52、チューニング済みが60.51。4.99の向上。

• ZwZ2-9B — ベースのQwen3.5-9Bは51.63、チューニング後は56.59。4.96の向上。

このレシピは、どちらのスケールでもほぼまったく同じ改善をもたらします。パラメータを3倍にしても、追加の訓練効果は0.03ポイントでした。しかも、どちらにも手を加える前から、ベースモデル間にはすでに3.89ポイントの差がありました。

つまり、完成したモデル間の3.92ポイントの差のうち、3.89ポイントは、出発点となったチェックポイントから受け継がれたものでした。その特化が差を生み出したのではありません。ほぼ完全にその差を保っていたのです。

これは単一ラボ・単一ハーネスでの比較なので、その引き算は、ベンダー間比較では決して成立しない意味で正当だ——その4つの数値はすべて同じ表から出ており、同じ評価コードによって、同じベンチマークセット上で生成されている。丸めはかなり粗いので、0.03 は精度として読むべきではない。正直に読めば「区別できない」である。

実用上それが意味するのは、これら2つのモデルのどちらを選ぶかは、ほぼQwen3.5-9BとQwen3.6-27Bのどちらを選ぶかに、固定された知覚的な調整を加えたものに等しいということです。自分のワークロードに対してより大きなベースモデルを選ばなかったのであれば、ZwZ2のトレーニングによってその判断が変わることはありません。

ドメインごとに：サイズは1か所に表示されます

平均値は構造を隠してしまいますが、ここではその構造は偏っています。6つのドメインにわたって2つのチューニング済みモデルを比較すると：

• 細粒度の知覚 — 27B は 67.57、9B は 66.02。差は 1.55 で、6 項目の中で最小。

• 空間認識 — 55.98 対 52.33。その差は3.65。

• 一般的な視覚的推論 — 53.71 対 49.83。その差は3.88。

• 身体化された空間推論 — 55.71 対 51.11。その差は 4.60。

• 長いコンテキストの理解 — 68.77 対 64.08。その差は 4.69。

• マルチモーダルエージェント — 51.81 対 42.43。その差は 9.38。

パターンは一貫している。タスクが画像を見ることから画像に働きかけることに移ると、大きいモデルの優位性はおよそ2倍になる。その手法が明示的に設計された8つの細粒度知覚ベンチマークでは、2つのモデルは互いに1.5ポイント以内に収まっており、Chartographyは逆方向に進んでいる。

エージェント領域は、27B がそのメモリフットプリントに見合う価値を発揮する分野であり、その差の大半は単一のテストに由来します。UI-Vision では、ZwZ2-27B が 66.66、ZwZ2-9B が 45.48 を記録し、21.18 ポイントの差は表中のどの差よりも大きくなっています。ScreenSpot-Pro と AgentVista の寄与はより小さく、それぞれ 70.59 対 66.98、18.18 対 14.83 です。

UI-Visionはインターフェース・グラウンディングのベンチマークであり、その結果は一般的なことではなく具体的なことを示している。ワークロードがソフトウェアインターフェースを読み取って操作することなら、27Bは9Bにはほとんどできないことをやっている。写真や文書ページ上の印を付けた領域を比較するワークロードなら、9Bは3分の1の重みでほぼ同じことをしている。

小型モデルが勝つ唯一のテストと、それをどれだけ重視すべきか

{{1}}Chartography{{/1}}はまさに注目に値する。なぜなら、それは例外でありながら、専門化がいかに狭い範囲に限られているかを証明しているからだ。両方のスコアはひどい——100点満点中{{2}}13.00{{/2}}と{{3}}12.00{{/3}}で、{{4}}Qwen3.6-27B{{/4}}のベースが{{5}}8.00{{/5}}、{{6}}Qwen3.5-9B{{/6}}のベースが{{7}}7.00{{/7}}だ。訓練によって両モデルとも、まだ確実には実行できないタスクで約5〜6ポイント向上し、{{8}}9B{{/8}}の向上幅はたまたま1ポイント高くなった。

正しい結論は、9B がチャートにより強いということではない。訓練分布からこれほど大きく外れたタスクでは、2つのモデル間の差はノイズであり、合理的な行動はチャート読み取りをまったく別のところへルーティングすることだ。チャートのベンチマークで12点や13点を取るモデルには、どちらかを選べるようなチャート能力は存在しない。

同じ注意は、他の低い絶対スコアにも当てはまる。ZwZ2-9Bはマルチモーダルエージェントで平均42.43、AgentVistaで18.18。ZwZ2-27Bは平均51.81と18.18。どちらも絶対的な意味ではエージェント作業が弱く、大きい方がはるかに弱さが少ないという事実も、それが強いということにはならない。

メモリフットプリントが実際にどのようなものか

パラメータ数の差は、毎日コストを払い続ける部分です。ZwZ2-9Bは単一の94億1千万パラメータのsafetensorsファイルで、bf16で約19 GBです。ZwZ2-27Bは約54 GBで2つのシャードに分割されています。ビジョンタワーのアクティベーションと262,144位置のKV予算を加えると、実用的な分割は次のようになります:

• ZwZ2-9B — bf16なら単一の24 GBコンシューマー向けアクセラレータに余裕をもって収まります。ぎりぎりですが実用可能です。量子化版は存在しないため、自分で量子化しない限りフル精度のまま扱うことになります。

• ZwZ2-27B — 余裕のある80 GBカード1枚、または厳しいテンソル並列分割で40 GBカード2枚。それ未満ではbf16で実行できません。

• サービング対応 — どちらのリポジトリも vLLM や SGLang のレシピを提供していません。どちらもクイックスタートで transformers==5.13.1 を固定しており、どちらも非シンキングモードでのみ文書化されていて、回答は <answer> タグで囲まれています。どちらもライセンスを明示しておらず、本番環境へのデプロイにおいては、これはどちらのメモリ数値よりも大きな障害となります。

その最後の点は、それだけで一文に値する。なぜなら、それは双方において同じだからだ。読むべきライセンスが存在しないのだ。カードは「公開された重みに付随するライセンス」に委ねているが、重みには何も付いていない。どのサイズを選んでも、商用利用に関する問いには答えが出ていない。

選ぶのではなく、両方を使う

ドメイン表は、勝者を示すよりも二層パターンをより強く示唆している。細粒度知覚はモデルサイズ間でほとんど変わらないため、そこでは9Bが妥当な最初のパスだ。エージェント的インターフェース作業はドメイン平均で9ポイント超、UI-Visionでは21ポイント動くため、そのトラフィックは27Bに割り当てるべきだ。タスク種別で振り分けるルーターなら、トークンの大半を安価なモデルに使い、高価なモデルは画面向けに取っておける。

ZwZ2のどちらのサイズも当社のカタログにはないため、現時点でそのパターンを行うには、ご自身のハードウェア上で2つのチェックポイントを実行し、ディスパッチを自分で書くことになります。OrcaRouterが適合するのは、同じスタックの汎用側です：Qwen3.8-27BとQwen3.5-27Bはどちらもここでは1つのキーでルーティング可能で、プロバイダーの定価のままマークアップなしに利用できます。そのため、リージョン比較を必要としないワークロードは自動フェイルオーバー付きのホスト型モデルに送ることができ、専門的なトラフィックはローカルに残せます。これは「ZwZ2を当社経由でルーティングする」という主張より控えめな話ですが、そのルーティングは提供できません — しかし、今実際に利用可能なのはアーキテクチャのこの部分です。

正直にまとめると、地味な話だ。2つのチェックポイント、同じレシピ、同じ沈黙、同じライセンス欠如、そして性能差は、ほぼすべてがベースモデルが元々持っていた差に、インターフェース作業向けの上位帯での実質的な特化が1つ加わったものにすぎない。27BのUI数値が必要なら、27Bと80GBカードが必要だ。必要ないなら、9Bでも、このプロジェクト全体が改善のために作られたタスクで1.5ポイント以内に収まり、しかもおそらくすでに持っているハードウェアに収まる。