Nanbeige4.3-33B 対 Gemma 4 26B-A4B：エンドポイントを持たない教師 vs 6セントの働き者

Nanbeige4.3-33B と Gemma 4 26B-A4B をベンチマークで比較することは、最初に取るべき行動ではない。その理由は、数値が近いか遠いかということではない。この2つのモデルのうち、価格が付いているのは片方だけだからだ。Gemma 4 26B-A4B は OrcaRouter 上のホスト型モデルで、入力100万トークンあたり $0.06、出力100万トークンあたり $0.33、コンテキストウィンドウは 262,144 トークン、p50 の初回トークン到達時間は 826 ミリ秒だ。Nanbeige4.3-33B にはエンドポイントも料金表もなく、リポジトリに推論プロバイダーも記載されていない。そのコストは GPU 4 台と電気代だ。

つまり本当の問いは、どのモデルのスコアが高いかではない。330億パラメータの密な教師モデルと、トークンあたり38億パラメータを活性化する260億パラメータのMixture-of-Expertsとの間の能力差が、従量課金の費目から資本的支出の費目へ移すだけの価値があるかどうかだ。これは算術で答えられる問いであり、その算術は、ベンチマーク表が示唆するほど大きなモデルに有利ではない。

インデックススコアにはパートナー番号がありません。

Nanbeige4.3-33Bは、Artificial Analysis Intelligence Index v5.0.1で20位に位置している。Gemma 4 26B-A4Bにはv5スコアが一切ない。そのArtificial Analysisページでは、総合スコアがN/Aと記載され、「Intelligenceは4ユニット中不明」と示され、現在のハーネスを実行するために利用できる公開APIはないと注記されている。以前のインデックスでどのようなスコアを出したとしても、それはもはや存在しない評価基準に属するものである。

それら二つの事実を互いに差し引くことはできない。v5インデックスは前身とは異なる、基準を再設定した評価セットであり、旧手法で高スコアを出したモデルが新手法でも同じ位置付近に来るとは限らない。「20 対 昨年Gemmaが記録した何某か」という比較を見せている人は、二つの異なる試験を比較している。正直に言えば、Gemma 4 26B-A4B は現在の総合指標では未測定であり、Nanbeige4.3-33B は 20 と測定されている。そして両方が v5 に登場するまで、引用できるインデックス差分は存在しない。

共通のハーネス上で実際に存在するのは、Terminal-Bench だ。Artificial Analysis は Gemma 4 26B-A4B を Terminal-Bench 2.1 で 39.0% と計測した。Nanbeige4.3-33B は Terminal-Bench 4.0 で 29.8% だった。これは別の、より困難なベンチマークなので、これもまた差分ではない。Nanbeige 自身のモデルカードは、Nanbeige4.3-33B が Terminal-Bench 2.1 で 80.9、Qwen3.8-27B が 73.0 だと主張しているが、この行は Terminus 2 ハーネスを用いたベンダー報告であり、独立に再現されてはいない。これは数字としてではなく、「Nanbeige はここで強いと考えている」と読むべきだ。

各モデルが実際に何をするよう形作られているか

アーキテクチャはベンチマークよりも多くを語る。なぜなら、この2つの設計は相反する制約を最適化しようとしているからだ。

• 形状 — Nanbeige4.3-33B は 33.1B パラメータで、そのすべてが dense であり、すべてのトークンで活性化されます。Gemma 4 26B-A4B は合計 25.2B で、トークンあたり約 3.8B がアクティブであり、6.6:1 の比率です。

• 重み用のメモリ — Nanbeige4.3-33B の bfloat16 で 14 シャードにわたり 66.3 GB。Gemma 4 26B-A4B は 4 ビットで約 18 GB に収まり、これは単体のコンシューマー向けカード 1 枚分です。

• コンテキスト — Nanbeige4.3-33B はネイティブで 524,288 トークン、スケーリングは適用されていません。一方、Gemma 4 26B-A4B は 262,144 トークンです。Gemma モデルについては、両方とも OrcaRouter 上で 262K で提供されています。

• モダリティ — Nanbeige4.3-33B ではテキスト入力・テキスト出力、英語と中国語。Gemma 4 26B-A4B はテキスト、画像、動画を入力として受け取り、テキストを返すため、スクリーンショットを読み取るあらゆるパイプラインにとって比較はそこで決着します。

• ライセンス — 両方とも Apache 2.0 なので、法的な立場は同一であり、判断は純粋に技術的・経済的なものになります。

• 推論 — 両モデルともデフォルトで思考が有効になっており、どちらもそれを弱める方法を提供しています。Nanbeige4.3-33Bは推論には262,144トークンの上限を、エージェント作業には65,536を推奨しています。Gemma 4 26B-A4Bは実際には出力上限がはるかに低く、ほとんどのルートで約33Kトークンです。

その最後のペアこそが核心だ。{{1}}Nanbeigeモデル{{/1}}は長時間動かすために作られている——長いターミナルセッション、長いエージェントの軌跡、長い推論チェーン——そしてそれらのトークンは一つひとつがdenseモデル並みの料金でGPU時間を消費する。{{2}}Gemmaモデル{{/2}}はトークンあたりのコストが安くなるように作られており、だからこそGoogleは3.8Bアクティブで提供でき、会話を始めるのに6セントで済む。

コストに関わる判断なので、具体例を挙げます。

20,000トークンの入力を読み取り、3,000トークンの出力を生成するタスクを、1日に1,000回実行するとします。

OrcaRouterの料金表におけるGemma 4 26B-A4Bでは、1回の呼び出しにつき、入力が20,000 × 100万あたり$0.06で$0.0012、出力が3,000 × 100万あたり$0.33で$0.00099かかります。つまり1回あたり$0.00219、1,000回あたり$2.19、その利用量なら月額約$66です。

Nanbeige4.3-33Bでは、呼び出しごとの料金を計算する対象がありません。呼び出し自体が存在しないからです。必要なのはハードウェアです。bfloat16では重みだけで66.3 GBあり、コンテキストが大きくなると、有用なKVキャッシュと一緒に単一の80 GBカードには収まりません。キャッシュ内の各トークンには約208 KiBかかるため、32Kトークンの会話ではシーケンスごとに約6.5 GiBが追加されます。4-way tensor parallelismはNanbeige自身のカードが想定する構成であり、冗長性のために必要な2台目のノードを数える前でも、本格的なデプロイの下限です。

それらを並べてみると、正直な結論として、低ボリュームでは両モデルは代替品にはならない。1日あたり数百万トークンを下回る領域では、Gemma 4 26B-A4B のほうが桁違いに安く、その差を埋めるにはエージェント性能の差がよほど巨大でなければならない。そのボリュームを超えると、セルフホスティングの固定費が償却され、比較が現実味を帯びてくる——まさにそのときに、33B の長期的な強みが効いてくる。

密なモデルがその価値を発揮する場面

Nanbeige4.3-33Bを支持する理由は「より優れている」ことではない。「安価なモデルが苦手とする特定のことをうまくやる」ことであり、独立した数値がそれが何なのかを示している。

Terminal-Bench 4.0における29.8%は、Artificial Analysis自身のボードによれば、同ベンチマーク上のあらゆる構成の中で56位の結果だ。それは見出しになる数字ではない。しかし、同じハーネスでQwen3.8-27Bが最高の推論設定で達成する値の約5倍であり、しかも長期的なターミナル作業を中心に据えたベンチマークだ——早期に諦めるモデルは、どれほど推論が優れていてもスコアがゼロになる類のタスクである。

同じパターンはキャリブレーションデータにも表れている。Nanbeige4.3-33BはAA-Omniscienceで11.7%の正答率だが、非ハルシネーション率は81.8%で、サイト全体で7位に入っている。エージェントループにおいては、進む道をでっち上げる代わりに「わからない」と言うモデルは、雑学で5ポイント優れていても行き詰まると捏造してしまうモデルよりも価値が高い。Gemma 4 26B-A4Bの同等のキャリブレーション数値は現在の複合指標では公開されていないため、これはNanbeigeについての主張であり、比較ではない。

ほとんどのチームにとって決め手となる部分

議論を読むのではなく実際に試したいなら、両方のモデルは1つのキーから利用できます。Gemma 4 26B-A4Bは上記の価格でOrcaRouterのカタログに掲載されており、262Kのウィンドウとゼロデータ保持ルーティングを備え、同じエンドポイントで利用できます。Nanbeige4.3-33Bはカタログにありません。当社は同モデルをホストしておらず、ここでの記述は当社がホストしているという主張として解釈されるべきではありません。

この非対称性が実務上意味するのは、この比較の安い側は5分で試せる実験であり、高い側は調達だということだ。ワークロードがマルチモーダルである場合、1日あたりの処理量が数百万トークン未満である場合、あるいは今週中に答えが必要な場合は、Gemma 4 26B-A4Bが可用性だけでも勝ち、ベンチマークの問いはそもそも問われない。

ワークロードが長時間にわたるターミナル自動化であるなら、4Bアクティブのモデルが2時間目あたりで文脈を見失うことはすでに承知的是はずで、気にするのは29.8%という数字だ。そこから問題は、GPU4枚を用意できる余裕があるかどうかになるが、それをベンチマークが答えてくれることはない。