Nanbeige4.3-33B 対 Gemma 4 31B：ベンダー表の33ポイント差が本当に意味するもの

Nanbeige4.3-33B 自身のベンチマーク表では、Gemma 4 31B は Terminal-Bench 4.0 で 0.0 を記録しています。まずこの行から見るべきです。なぜなら、この比較における他のすべての数値をどう読むべきかを教えてくれるからです。Gemma 4 31B は Google DeepMind による 307 億パラメータのオープンウェイトリリースで、2026 年 4 月 2 日以降 Apache 2.0 の下でダウンロード可能であり、Google 自身の資料では τ²-bench のツール使用で 86.4、LiveCodeBench v6 で 80.0 を記録しているとされています。そのようなモデルが、存在するすべてのターミナルタスクで失敗するはずがありません。ゼロというのは、ベンチマークが「できなかった」と「動作するツールループをそもそも渡されなかった」を区別できないときに得られるものです。

対照的に、Nanbeige4.3-33Bはまだ公開から2日です。そのリポジトリは2026年10月24日02:49 UTCに作成され、モデルカードはNanbeigeが行った唯一の発表であり、そのカード上の20行の表が、現在このモデルについて出回っているあらゆる数値の唯一の出典です。Gemma 4 31Bは、その表に3つの比較列の1つとして登場します。独立した研究所がこの2つのモデルを直接比較したことはなく、どちらのベンダーもこの1つの表以外で相手をベンチマークしていません。したがって、この対決の正直な姿はスコアボードではありません。どの行が精査に耐え、どの行がハーネスを測っているのかについての議論です。

各モデルの正体

2つのリリースには6か月半の隔たりがあり、設計上の前提にもそれが表れている。

• パラメータ — Nanbeige4.3-33B は 33.1B の dense モデル（BF16 で 33,118,977,024 個）であり、すべてのパラメータが各トークンで有効になります。Gemma 4 31B は 30.7B の dense モデルです。どちらも mixture of experts ではないため、スループットは双方とも重みの総数に応じてスケールします。

• コンテキスト — Nanbeige4.3-33Bは524,288トークンをネイティブで搭載しています。Gemma 4 31Bは262,144です。どちらもこのパラメータクラスとしては異常に大きく、Nanbeigeのものは2倍です。

• モダリティ — Nanbeige4.3-33B はテキスト入力・テキスト出力で、英語と中国語に対応します。Gemma 4 31B はテキストに加えて画像も受け付け、140 以上の言語で事前学習されており、ネイティブの関数呼び出しと設定可能な思考モードを備えています。

• ライセンス — どちらも Apache 2.0 です。ライセンスの疑問が始める前に片付いている、珍しい比較と言えます。

• {{1}}ディスク上の重み{{/1}} — Nanbeige4.3-33B は BF16 で約 66GB、4ビットではおよそ 20GB です。Gemma 4 31B も同程度の範囲です。どちらもラップトップ向けモデルではなく、両方ともシングルワークステーションまたはシングルノード向けのモデルです。

唯一、差が大きいのは配布だ。Gemma 4 31BにはマネージドAPIがあり、Artificial Analysisが現在ゼロコストで掲載しているエンドポイントがあり、独立したカバレッジもある。Nanbeige4.3-33Bには重みとモデルカードがあり、しかもカード自身の言葉によれば、それをデプロイしている推論プロバイダーは存在しない。この非対称性は品質の判断ではないが、「試す」ためにかかるコストを変える。

ベンダー列とGoogle自身のカードが一致していません

Nanbeigeの表にある2行はGoogleの公表数値と照合できるが、一致するのはそのうち1行だけだ。

• AIME 2026 — NanbeigeはGemma 4 31Bのスコアを89.2としている。Googleの報告も89.2。完全一致。

• GPQA Diamond — NanbeigeはGemma 4 31Bに91.3というスコアを与えており、GemmaがNanbeige自身の89.5を上回るのはこの行だけです。Googleがこのモデルについて公表している数値は84.3です。これは7ポイントの不一致であり、どちらのカードもその背景にある設定を説明していません。

その2行目は注目に値します。ベンダーの表が競合に勝利を差し出す唯一の箇所だからです。その数値が最大思考エフォートでの再実行によるものなら、それは正当な結果であり、Gemmaは大学院レベルの科学問題で確かにリードしています。異なる設定の評価によるものなら、その表は2つの異なるGemmaを比較していることになります。いずれにせよ、今週あらゆる二次記事で繰り返されてきた「Gemma wins GPQA」という一文は、Googleが公表していない数値に依拠しています。

Gemma列の残りは、Googleが異なるベンチマークを報告しているため、監査するのがより難しい。Nanbeigeの表ではGemmaはTau3-Benchで18.6とされているが、Googleのカードではτ²-benchで86.4とされている。これらはベンチマークファミリーの異なるバージョンなので矛盾してはいない——しかし比較でもなく、両者の68ポイントの差は、ハーネスとバージョンの選択が単一モデルのスコアをどれだけ動かし得るかについての妥当な見積もりである。

ゼロを正しく読み取る

Gemma列の3つの行はほぼゼロです。Terminal-Bench 4.0では0.0、DeepSWEでは2.7、SWE-Atlas-QnAでは3.3です。これらの行はSNSで出回るものですが、表の中で最も情報量の少ない数値です。

エージェント型ベンチマークでほぼゼロという結果には、少なくとも3つの原因が考えられます。モデルがタスクを完了できない、モデルがハーネスの提供するツールを操作できない、あるいはハーネスが別のチャットテンプレートとツール呼び出し形式向けに調整されていた、というものです。Nanbeigeのカードは、自社の結果がTerminal-Bench 2.1ではTerminus 2を、Terminal-Bench 4.0、DeepSWE、SWE-Atlas-QnAではmini-swe-agent v2.4.6を使用したと明言しています。しかし、Gemma 4 31Bに自身のツール呼び出し形式を備えた同じスキャフォールドを与えたのか、それともNanbeigeのXML志向のものに投入したのかは述べていません。これらは大きく異なる数値を生み出し、そのうちモデル自体について語っているのは一つだけです。

これはNanbeigeの結果を切り捨てる理由にはならない。Nanbeige4.3-33Bはエージェント型コーディングを中心に構築されており、そのモデルカードはXMLツール呼び出し形式、マルチターンのツール使用に対するpreserve_thinking=true、エージェントタスクに対するtemperature 1.0を推奨している。したがって、それ向けに作られたハーネス内で良好に動作するのは驚くにはあたらない。これはGemmaの列を判定ではなく下限として扱う理由である。

非対称性ベンチマークは価格設定を行わない：画像

Gemma 4 31Bは画像を扱えます。Nanbeige4.3-33Bは扱えません。この一文だけで、表のどの行よりも多くの実際の導入が決まります。

エージェントがスクリーンショット、請求書、チャート、スキャンしたフォーム、UI状態を読み取るなら、Nanbeige4.3-33Bはどのベンチマークスコアでも候補になりません。その前段に別の抽出モデルを置く必要があり、それ自体のレイテンシ、コスト、障害モードを抱えることになります。しかもパイプラインの品質は33Bの品質ではなく、その抽出モデルの品質になります。Gemmaはその工程をネイティブに行い、Googleが公開しているMMMU-Proの76.9とMATH-Visionの85.6は、それが形式的ではなく十分に competent に行われることを示唆しています。

逆に、作業がテキストのみの場合——コード、ログ、長文ドキュメント、複数ターンのツールトレース——画像機能は、フォワードパスごとにコストを払っている無駄な重りです。Nanbeige はまさにそのケース向けに作られており、それはエージェント作業の大きな割合を占めています。

512K 対 256K、そしてウィンドウは何のためにあるのか

Nanbeigeの524,288トークンのウィンドウはGemmaの262,144の2倍であり、どちらの数も十分に大きいため、その差が意味を持つのは特定の作業形態においてのみです。

256Kウィンドウには、中規模リポジトリ相当のソースコード、または数百ページ分のテキストが収まります。512Kウィンドウならその2倍です。単一の長い文書と長い回答なら、どちらでも十分です。何百ターンにもわたってツール出力を蓄積するエージェントの場合、より大きなウィンドウは、要約や破棄が行われるまでのターン数を増やせます。Nanbeigeのモデルカードでは、推論とチャット向けに最大262,144の新規トークンを推奨しており、実際の推論予算は512K全体よりも256Kに近いことを示唆しています。Gemmaの出力上限は一般に131,072に設定されています。

どちらのベンダーもここで長コンテキストのリコールベンチマークを公開していないため、512Kと256Kのどちらがより有効に使えるかを正直に語るすべはない。コンテキストサイズは容量の主張であって、品質の主張ではない。そして両方のカードとも、そこまでしか語っていない。

それぞれの通話料金

この2つのうち、今日サービスとして呼び出せるのはGemma 4 31Bだけです。OrcaRouterでは、入力100万トークンあたり$0.13、出力100万トークンあたり$0.38、キャッシュ済み入力は$0.02です。これはプロバイダーの定価をマークアップなしでそのまま反映したもので、ベンダーの価格変更が発表当日に当社のカタログへ反映されるのもこのためです。Artificial Analysisは現在、Google自身のエンドポイントを入力$0.00、出力$0.00と掲載していますが、これはほぼ間違いなく恒久的な価格ではなくプロモーションまたは無料枠を反映したものです。予算項目としてではなく、試用チャネルとして扱ってください。

Nanbeige4.3-33Bには提示できるトークン単価がない。重みはApache 2.0の下で無料であり、モデルカードにはこのモデルをデプロイしている推論プロバイダーはないと明記されている。実行するには、モデルカードに記載のvLLMとSGLangのレシピに従って、テンソル並列サイズ4でGPUを4基使い、リクエストが来ても来なくてもそれらを稼働させ続けることになる。その場合、トークンの限界費用は料金表ではなく、電気代と稼働率によって決まる。「入力$0.13」と「無料」を比較している人は、請求書と設備投資を比較していることになる。

これは、新しいモデルがセルフホストされている場合でも、ルーターを介在させておくべき実用的な理由でもあります。ほとんどのチームが実際に直面する判断は、「Gemmaを置き換える」ことではなく、「トラフィックの5%を新しいものに送ってどうなるか見てみる」ことです。1つのキーと自動フェイルオーバー実験用エンドポイントが落ちても、それは移行ではなくルーティングの変更になります。

Gemma 4 31B がシンプルに最適解となる場合

4つの条件があれば、ベンチマーク表がなくてもこれに決着がつく。

• ワークロードには画像、PDF、スクリーンショットが含まれます。文句なしにGemmaです。

• 英語と中国語だけでは不十分です。Gemmaは140以上の言語で事前学習されていますが、Nanbeigeが挙げているのは2言語だけです。

• GPU を自前で所有したくないでしょう。Gemma には現在マネージドエンドポイントがあり、Nanbeige には重みとデプロイ手順があります。

• 品質についてはセカンドオピニオンが必要です。GemmaのArtificial Analysis Intelligence Indexは15で、控えめながら独立した指標です。Nanbeigeはそこに一切項目がなく、それに関するあらゆる数値はベンダーが自分の宿題を自分で採点しているようなものです。

視点を逆にすると、Nanbeigeのケースも同様に明確です。テキストのみのエージェント作業、長いツールトレース、GPUを保有するチーム、そして同社が推奨するXMLツール形式を実行する意欲です。そのような作業形態において、Nanbeige自身の表は、Terminal-Bench 2.1で33.7ポイントのリード（80.9対47.2）、DeepSWEで62.8ポイントのリードを主張しています。これらの差は十分に大きく、ハーネスの優位性を割り引いて考えても、おそらく実際のシグナルを含んでいます。ただし、自分で一度実行してみない限り、本番運用の道に賭けるには十分な大きさではありません。

午後のベイクオフはこのテーブルに勝る

もし本当に両者のどちらかを選ぶつもりなら、そのテストは安価で、どちらのベンダーを信じる必要もない。自分のエージェントログから実際のタスクを20件取り出す。各モデルを、それぞれ推奨されるツール呼び出し形式と思考設定——NanbeigeならXML、Gemmaならネイティブの関数呼び出し——で実行し、ベンチマークとの類似性ではなくタスク完了率で採点する。完了したタスクごとに消費トークンを記録せよ。denseな33Bとdenseな30.7Bでは、トークンあたりの価格が同じでも冗長性が異なるからだ。

午後のひとときで分かるのは、Nanbeigeのエージェント性能上の優位が、自社ハーネスの利点を差し引いてもなお残るかどうかだ。誰かがそれを公表するまでは、擁護可能な要約は見出しよりも狭いものになる。Gemma 4 31Bはより導入しやすいモデルであり、独立したスコアを持つ唯一のモデルだ。Nanbeige4.3-33Bはより野心的なモデルで、ネイティブの512Kウィンドウと、印象的だが未監査で、まだ2日しか経っていない一連の自己申告エージェント数値を備えている。