ZoomGain-4B 対 Qwen3.8-27B：11ポイントの勝利はモデルではなくデータセット上のものだ

この対決に1ページを割く価値がある理由を示す数字は、55.81 対 44.81 だ。inclusionAIのZoomGain-4Bと同時に公開された1,000問の細部ベンチマーク、ZoomGainBenchでは、45.4億パラメータの視覚モデルが11ポイント上回る相手は、Qwen3.8-27B、すなわちAlibabaが8月にApache 2.0で公開し、テキストだけでなく画像や動画も読む277.8億パラメータのdenseモデルだ。パラメータは6倍なのに、11ポイント負けている。両方の数字を生み出した論文を読めば、この差は視力についての主張ではなくなる。ZoomGainBenchはZoomGain-4Bの学習データを生成したのと同じ自動パイプラインで構築されており、著者らはアブレーション研究でそう明言している。そして彼らが本当に競争していた相手はQwen3.8-27Bではなく、別のデータセットなのだ。

それは反証ではない。このリリースで最も有用なものであり、比較を判断可能にするものだ。つまり、2つのモデルのどちらを選ぶべきか、そしてその選択を正当化するよう求められたときにどの数値を引用すべきかを教えてくれる。以下では、ここで一緒くたにされがちな3つの主張を切り分ける——小規模な専門特化モデルが大規模な汎用モデルに勝るという主張、あるデータパイプラインが別のデータパイプラインに勝るという主張、そしてそのいずれかが今月スタックを変更する理由になるという主張である。

何が出荷されたのか、そしてどれほど静かに

{{1}}ZoomGain-4B{{/1}} のリポジトリは、2026年11月10日 11:38 UTC に Hugging Face 上で作成され、11月11日に最終更新された。論文 arXiv 2611.14076 は11月10日に投稿された。GGUF リポジトリは11月11日 03:13 UTC に更新された。執筆時点では、両リポジトリともダウンロード数といいね数はゼロで、モデルにマッピングされた推論プロバイダーはなく、ベンダーによるローンチ投稿、ブログ記事、プレスリリースも存在しない。モデルカード自体の Updates リスト（11月11日付）が唯一の告知であり、論文、ベンチマーク、RL データセット、チェックポイントが公開されたと述べる3行のみである。

正確に言えば、これは静かにリリースされたもので、まだ発表されていない。以下でリポジトリに由来するものはすべて今日時点で検証可能だが、著者らのハーネスの外でモデルがどう振る舞うかについてはまだ確認されていない。なぜなら、Ant GroupとZhejiang Universityの外部でこれを実行して結果を報告した者はまだ誰もいないからだ。

比較を始める前に、リポジトリから確認しておく価値のある詳細が2つあります。どちらも、それを使ってできることを狭めるからです。

• アーキテクチャ。Qwen3.5-4B の派生モデル — 32 層、隠れ次元 2,560、ヘッド次元 256 で 16 のクエリヘッドに対して 4 の KV ヘッド、線形 DeltaNet とフルアテンションを 3:1 の比率で組み合わせ、最大位置数 262,144、語彙数 248,320 トークン、隠れ次元 1,024 の 24 層ビジョンエンコーダを備える。エンコーダとプロジェクタを含めた総パラメータ数は 4,539,265,536 である。

• ライセンス。 カードの「ライセンス」セクションはコードについて言及しており、それは Apache 2.0 で、その後は次のように委ねている。「各データセットおよびチェックポイントの条件については、Hugging Face のカードを参照のこと」。チェックポイントのカードにはライセンスタグが一切付いていない。Qwen3.8-27B は紛れもなく Apache 2.0 である。弁護士に渡せるライセンスが必要なら、まずこの非対称性に突き当たるが、それはリリース内の何によっても解消されていない。

両方のモデルが並んで表示される唯一のリスト

ZoomGainBenchは、941枚の画像にわたる1,000問のバイリンガルベンチマークです。472問の属性認識問題（選択肢は4～6個）、94問の計数問題、434問のOCR問題があり、それぞれ英語版と中国語版があるため、評価インスタンスは2,000件になります。28モデルを同一のハーネスで実行しました——システムプロンプトは同じ、temperature 0、すべてのQwenチェックポイントでthinkingを無効化、非エージェント型モデルでは出力トークン数2,048。この分野の最高結果はGPT-5.6-Solの61.08で、50を超えたモデルは5つだけです。

Qwen3.8-27Bは総合44.81で、英語では43.84（属性40.25、カウント54.26、OCR 45.49）、中国語では45.78です。ZoomGain-4Bは、ベンチマーク表ではなくトレーニング表に記載されていますが、55.81です。両方の数値は同じ採点ルールによる2言語総合であるため、今回のリリースで提供される中ではこれが最も対照条件に近い組み合わせであり、それによれば4Bが11.00ポイント勝っています。

• パラメータ。4.54B 対 27.78B — 結果を驚くべきものにする方向の6.1倍の差。

• それぞれが何をするために作られたか。 ZoomGain-4B は、Qwen3.5-4B に 9,000 件の採掘された質問で GRPO を 1 エポック、140 ステップ、バッチ 64、質問あたり 8 回のロールアウト、学習率 1e-6、KL 項なしで施したものです。Qwen3.8-27B は、推論モード、ツール呼び出し、動画パスを備えた汎用の密モデルです。

• 学習データ。一方は9,000問。もう一方は、規模が非公開のAlibabaの事前学習および事後学習コーパス全体です。

• 利用可能性。 ZoomGain-4B：3種類のGGUF精度と専用のプロジェクタファイル、ホスト型エンドポイントはなし。Qwen3.8-27B：Apache 2.0のウェイト、FP8ビルド、740万ダウンロード、そして今日から呼び出せるエンドポイント。

論文が実際に確立している比較

ここが、リリースが「4B beats 27B」に矮小化されると失われる部分です。論文は自らのデータ用のベースラインを必要とし、それを用いました。ZwZ です。これは領域から画像への蒸留によって構築された ICML 2026 の細粒度知覚データセットです。両側は同一の扱いを受けました。12,000枚の画像がサンプリングされ、23,610個の質問が生成されました。ベンチマークは1,000件を採用し、残りから8,746組の画像対応質問ペアが得られ、254組を両側で重複させて各セットを9,000件にしました。同じ画像、同じベースチェックポイント、同じハイパーパラメータ、同じ140ステップ。唯一の変数は質問です。

ZoomGainデータは、論文が報告するあらゆる軸でZwZデータを上回っている。Qwen3.5-4Bでは、held-inスコアが40.99から55.81へ、13ベンチマークのheld-out平均が58.94から63.96へ動く。Qwen3.5-9Bでも同じ2つの数値は44.07から55.48へ、62.53から66.10へ動く。これは、どのように教師信号を生成するかについての、実在し、十分に統制された結果であり、論文のタイトルが打ち出している貢献そのものである。

Qwen3.8-27Bはその議論に何ら寄与していない。それは、ベンチマーク対象となった他の27モデルの中の1行として一度だけ現れる。それは物差しであり、誰も訓練していない分布上で測定された有能な汎用モデルであって、競合モデルではない。論文自身の記述は、それが突くギャップが共有されていることを明言している。全体視点のエラー・ディストラクターは、全28モデルを通じて全不正解の71.7%を占め、選択肢からランダムに選んだ場合に生じる54.5%を上回っている。また、ベンチマーク構築に一切関与していない4つのクローズドソースモデルも、期待値57.4%に対して75.7%という同じ挙動を示している。

アブレーションこそが、その見出しに対する最も強い反論だ

著者たちは明白な妥当性チェックを自分たちで行い、その結果は論文で最も情報量の多い表になっている。彼らは同じ9,000問で2回再訓練し、そのたびにパイプラインを定義する2つの設計上の選択肢のうち1つを外した。すなわち、質問は全体画像では見えない詳細のみから作成してよいという規則と、専用のディストラクター生成段階である。

• フルパイプライン。ZoomGainBench 55.81；アブレーションが報告する10個のホールドアウトベンチマークでの平均は60.96。

• 専用のディストラクターを除去。 ZoomGainBench 46.85 — held-inテストで8.96ポイントの損失 — および10ベンチマーク平均59.14、1.82の損失。

• 追加の証拠を削除しました。 ZoomGainBench 49.71、6.10の低下 — そして10ベンチマーク平均58.57、2.39の低下。

どちらの設計上の選択も、ZoomGainBenchでは6〜9ポイント、それ以外では約2ポイントに値する。著者らはその理由を率直に述べている。専用のディストラクターを取り除くと「held-in ZoomGainBenchで最大の低下を引き起こす」のは、「このベンチマークの選択肢が同じパイプラインを使って構築されているからだ」。言い換えれば、見出しの数値を生み出したベンチマークにおける主要な改善の約4分の3は、パイプラインが作成する種類の質問に答えることをモデルが学習しているのであって、よりよく見ることを学習しているのではない。

それでも残るものは依然として相当な規模だ。学習が一切触れていない13のベンチマークで、Qwen3.5-4Bは57.86から63.96へ向上し、9,000サンプルから6.10ポイントを獲得している。最大の伸びは、まさにパイプラインが狙うファミリーに現れた：HR-Bench 4Kは81.25から87.25、V*Benchは81.68から90.05、VisualProbeは43.30から57.28、O3-Benchは54.20から63.19。1つのベンチマークは退行する：TreeBenchは49.38から49.14で、0.2ポイントの低下だ。汎用マルチモーダルスイートのMMStarは66.80から72.53へ動き、BabyVisionは21.13と低いままである。

そのプロファイルは限定的な介入の特徴を示しており、それを前提に計画を立てるべきです。モデルはシーン内の小さなものを解像する点では向上しました。より優れた汎用モデルになったわけではなく、そう主張する計算はそのモデル自身のベンチマーク上の計算にすぎません。

ベンチマークが実際に問いかけている内容、それがあなたの購入対象になるものなのだから

細部の確認が目的であれば、テストの構成は総合スコアよりも重要であり、論文のエラー分析はその点について異例なほど具体的である。

• 小規模なアンカーが支配的です。精度は、問い合わせた詳細が画像に占める割合に応じて上昇します。すべてのモデルグループにおいて、全28グループで平均すると、アンカーが画像の0.4%未満を覆う最小の四分位では28.9%から、最大の四分位では55.2%まで上昇します。

• 数え上げとは小さな数を数えることである。 94問の数え上げ問題のうち67問は正解が3以下であり、誤った数値回答の71.6%はちょうど1だけずれている。難しいのは多数を列挙することではなく、少数の小規模な事例を解くことにある。

• 属性認識は難しいカテゴリです。 これは28モデル中23モデルで最低スコアとなり、選択肢を一様に当てずっぽうで選ぶだけでも約21.5%に達するでしょう。

• 失敗モードは、場面としてもっともらしい置き換えである。記録された一例では、56件の評価のうち46件が、トラックのダッシュボード上の白い物体をオレンジ色だと判定している——おそらく、その前に立つ作業員が着ているベストの色である。別の例では、ほぼすべての評価が、衣服に実際に印刷されているロゴではなく、ホッケー用品ブランドの名前を挙げている。モデルは「見えない」とは言わず、文脈から答える。

その失敗モードは、この種のトレーニングを正当化する実用的な根拠です。なぜなら、スキャンした請求書に対して文書パイプラインを静かに誤らせるのは、まさに同じ失敗モードだからです。また、それを測定すべき根拠でもあります。もっともらしい答えで置き換えるモデルは自信ありげな出力を出すため、下流のどこでもそれを見抜けません。

Qwen3.8-27Bが別の部屋にある場合

44.81は実在する数値であり、この記事の中でQwen3.8-27Bがここで評価される唯一の数値でもあります。同モデル自身のカードはまったく別の事柄を報告しており、それらのいずれもZoomGainの数値とは比較できません。なぜなら、両モデルがそれらの項目について同じハーネスで実行されたことは一度もないからです。

• エージェント型コーディング。Terminal Bench 2.1 で 73.0、SWE-bench Pro 61.7、LiveCodeBench v6 90.3、QwenSWEBench 79.0 — いずれも Qwen 自身のカードに記載されたベンダー報告値で、ハーネスの注記も併せて公開されています。

• 推論とコンピューター利用。 GPQA Diamond 89.2、HLE 30.8、OSWorld-Verified 84.3、WebArena-Verified 64.8。

• マルチモーダル処理。OmniDocBench 1.5で91.1、CharXiv推論は思考連鎖の注入なしで83.7、注入ありで90.2、RealWorldQAは85.9、MathVisionは90.0。

• 機能面。思考はデフォルトで有効で、reasoning_effort は xhigh、medium、low のいずれかです。ターンをまたいで思考が保持され、ネイティブのツール呼び出し、構造化出力、動画入力に対応し、ネイティブで 262,144 ポジション、100 万まで拡張可能です。

ZoomGain-4B はこれらのいずれでも評価されておらず、どれについても良好な結果は期待できません。その学習ではコード、ターミナルタスク、文書、チャートを一切扱っていないからです。また、思考モードでの評価結果も報告されていません。このリリース独自のハーネスは temperature 0 で思考を無効にして実行されるため、公開されている内容はすべて、直接回答時の挙動を説明したものです。Qwen3.8-27B の 44.81 も同じ方法で、enable_thinking=false、これが比較を公平にする唯一の点であり、Qwen の最良モードを未検証のままにする唯一の点でもあります。

はっきり言えばこうだ。ZoomGain-4B が訓練された軸では 4B が勝ち、Qwen3.8-27B が作られた軸では 4B はその場にすらいない。どちらも驚くことではないし、どちらか一方を物語のすべてとして扱うことこそが、比較ページを無用のものにする道だ。

それぞれを立ち上げるのにいくらかかるか、そして今日すぐに電話できるもの

ここが、ベンチマークではなくデプロイを左右する形で、両者が分岐する点です。

ZoomGain-4Bには、ホストされたエンドポイントがどこにもありません。存在するのはBF16リポジトリ（言語モデルと別個の視覚エンコーダにまたがる45.4億パラメータ）と、3つのGGUFビルドです。Q4_K_Mが2.71 GB、Q8_0が4.48 GB、F16が8.42 GBで、それぞれ専用のmmprojプロジェクタ——それぞれ0.23 GB、0.36 GB、0.67 GB——と組み合わせて使い、GGUFカードには画像入力に必要だと明記されています。実行するには、Qwen3.5のマルチモーダルを認識できるほど新しいllama.cppビルドのllama-mtmd-cliまたはllama-serverを使います。フル精度で実行するならvLLM 0.19.1とtransformers 5.7.0です。MLXビルドもONNXも、投機的デコーディング用のドラフトモデルもなく、ビルドが壊れたときにフォールバックできるプロバイダもありません。

Qwen3.8-27BはOrcaRouterのカタログに掲載されており、当社は他社のエンドポイントを再販するのではなく、その重みを自社インフラで実行しています。だからこそ、モデルページに表示される価格がそのまま価格であり、上乗せされたマークアップも、間に入るベンダーの定価への上乗せもありません。料金は100万入力トークンあたり$0.33、100万出力トークンあたり$2.40です。テキスト、画像、動画の入力に対応し、コンテキストは262,144トークン、キーは1つだけです。同じキーで、100万トークンのウィンドウを持つQwen3.8-Flash（100万トークンあたり$0.15と$0.47）と、Qwen3.8-Max（同$2.00と$6.00）にもアクセスできるため、27Bでは足りなくなったワークロードや、より長いウィンドウが必要なワークロードも、別契約やコード変更なしに移行できます。フェイルオーバーは、本番運用に近いものにとって重要な部分です。停止したプロバイダーは、リクエストがタイムアウトした後ではなく、応答が始まる前に再試行します。

ZoomGain-4Bはそのカタログには含まれておらず、当社を通じて呼び出すこともできません。それは自分で配信する重みのフォルダであり、誠実な推薦はそこから始めなければなりません。

誰が行動すべきで、何がまだ確認されていないのか

画像重視の作業で、答えが小さな細部——ラベルの部品番号、画面上の色、ネジが2本か3本か——に左右されるなら、まさにその点でRLされた4.54Bモデルを、Q4_K_Mで2.71 GBのローカル実行として使うのは、ホスト型の汎用モデルと併用する、安価で信頼に足るセカンドオピニオンになり得る。置き換えとしてではなく。専門特化モデルの失敗プロファイルは「自信満々の取り違え」であり、それはまさに汎用モデルによるチェックが捕まえる失敗で、逆もまた然りだ。

ワークロードが文書、チャート、スクリーンショット、動画、コード、エージェントなら、選ぶべきは27Bであり、誰もそのために訓練していない細部重視のベンチマークで44.81を記録したことは、そう考えない理由にはならない。

まだ未確認であり、想定するのではなく注視する価値があるのは次の点です：

• 重みのライセンス。 Apache 2.0 はコードを対象としています。チェックポイントにはライセンスタグが付いておらず、モデルカードは「各データセットおよびチェックポイントの利用条件」に委ねているだけで、その条件を明示していません。これが解決するまで、商用展開はチェックボックス一つで済む話ではなく、弁護士との相談事です。

• 再現は自由です。上記の数値はすべて著者による報告値であり、著者自身のハーネスで生成されたものです。ベンチマークと評価器は公開されているため検証可能ですが、Ant Groupと浙江大学の外部の誰もまだ検証していません。

• その向上がパイプラインの外側でも一般化するかどうか。 信頼すべきはホールドアウトの数値であり、それは控えめなものだ — ベースモデルの13ベンチマーク平均に対して6.10ポイント — そしてそれらはトレーニングが狙いとした細粒度ファミリーに大きく偏っている。それがあなたの画像にも転移するかどうかは、このリリースでは答えの出ていない未解決の問いである。

• Q4でも性能を維持できるかどうか。 GGUFカードは量子化が精度に影響し得ると警告しており、ZoomGainBench上で量子化ビルドをBF16チェックポイントと比較した公開データはありません。細部の精度こそが唯一の価値であるモデルにとって、2.71 GBのファイルを信頼する前に実施すべきは、まさにこの実験です。