Nanbeige4.3-33B、初の外部スコアは20でQwen3.8-27Bと同水準、しかも2倍おしゃべり

2週間の間、Nanbeige4.3-33Bが何かに優れていることを示す唯一の証拠は、ラボが自らについて作成した20行の表だけだった。11月5日、状況は変わった。Artificial AnalysisはNanbeige4.3-33BをIntelligence Index v5.0.1で20を記録した。これはQwen3.8-27Bに最高推論設定で与えているスコアと同じで、総合スコアは20、基になるv5.0実行でのQwenモデルは20.1だった。0.1ポイントは同じチェックポイントの2回の評価間のノイズより小さく、したがって両方を測定する唯一の公開総合スコアでは両者は互角だ。

それはリリースが待ち望んでいた数字であり、測定の中で最も興味を引くものではない。この合成スコアは、二つの半分が正反対の方向を指すモデルを覆い隠している。すなわち、打ち負かすために作られたQwenモデルを大きく上回るエージェント的な半分と、それより測定可能なほど劣る知識の半分だ。さらに、Nanbeige4.3-33Bがその20に到達するまでに1億6000万個の出力トークンを費やしたという事実も覆い隠している。これは比較クラスの中央値モデルが消費する量の2倍以上であり、Artificial Analysisの冗長性指標で8モデル中最下位になるのに十分な量だ。

したがって、このリリースに対する正直な解釈はもはや「未検証」ではない。「検証済みであり、ベンダーの表が示唆していたよりも奇妙だ」ということだ。以下では、独立した実行が実際に何を述べているか、どこでNanbeige自身の数値と一致しているか、そして外部測定が高くラボ自身の主張より

20が意味すること、そして意味しないこと

Artificial AnalysisはNanbeige4.3-33Bを独自の比較クラス内で9モデル中1位に位置づけており、クラス中央値は10です。そのクラスとは、同サイトが比較対象としてプロットする同程度サイズのオープンウェイトモデル9件であり、サイトは別途、より広い比較対象コホートには144モデルを収録していると述べています。両方の母集団を同時に押さえておく価値があります。同程度のサイズのオープンウェイトモデルと比べれば、測定された中で最も強いものであり、フロンティアのクローズドモデルやQwen、DeepSeek、Anthropicの最良モデルを含む全分野と比べても、スコア20は中位につける堅実な結果です。

9モデル中1位と中位のスコアとの間にあるその差は、保持する価値がある。なぜなら、それはまさに、リリースが「Qwenを上回る」と要約されるときに失われてしまう差だからだ。33Bのオープンウェイトモデルが、数倍の規模を持つモデルが支配する複合指標で中位に入ることは、真の成果である。それはフロンティアの結果ではなく、このリリースの言葉遣いのどこにもそう示唆するものがあるべきではない。

このインデックスに含まれていないのは価格です。価格が存在しないのは、ホストされたエンドポイントがないためです。Artificial Analysis は「公開されているAPIはない」と記録しており、このリポジトリに対する Hugging Face の推論プロバイダーのマッピングは空で、このモデルを扱うすべてのトラッカーがコストを利用不可として表示しています。あなたのコストはハードウェアです。

モデルの二つの半分が食い違っている

Artificial Analysisは単一の数値を公表しておらず、このモデルが読み解けるようになるのはサブスコアにおいてです。それらを2つの列として読んでください。

• Terminal-Bench 4.0（Artificial Analysisハーネス）— Nanbeige4.3-33Bは29.8%、ボード上の全構成中56位。xhighのQwen3.8-27Bは同じハーネスで5.6%を記録。

• FrontierCode 2.0 — Nanbeige4.3-33B は 10.7%、81 位。Qwen3.8-27B は xhigh で 14.9% を記録しているため、コード品質ベンチマークは逆の結果を示している。

• AA-Omniscience v1.1 — Nanbeige4.3-33Bは11.7%の精度で−4.4の純スコア。Qwen3.8-27Bはxhighで17.3%の精度で−6.4の純スコア。Qwenの方が知識量は多いが、Nanbeigeの方が回答を控える頻度が高いため、純スコアは上回る。

• AA-Omniscience 非ハルシネーション — Nanbeige4.3-33B 81.8%、サイト全体で7位。xhigh 設定の Qwen3.8-27B は 71.4%。

• AutomationBench — Nanbeige4.3-33B 53.1%、82位。AA-Briefcase v1.1 — 1,162、90位。Terminal-Bench-Science 0.1 — 0.9%、89位。

• HLE-Diamond — 6.9%、117位。CritPt v2 ハードサブセット — 15.5%、85位。GDP.pdf — 11.2%、135位。

これらの行全体に見られるパターンは一貫している。タスクが「長時間ターミナルを操作し、途中で止めない」である場合、このモデルはQwenモデルのスコアの約5倍だ。「事実を知っている」タスクでは後れを取っており、「事実を知っている、または知らないと言う」タスクでは、ボード上のほぼすべてを上回り、非ハルシネーション率81.8%だ。

その組み合わせはチューニングの偶然ではない。知識ベンチマークを向けたときに、エージェントの軌跡を生成するために作られたモデルが示す姿だ。事実を捏造する教師モデルは、生徒モデルの学習データを汚染する教師である。だからこそ、Nanbeigeが構築していると語るパイプラインでは、再現率よりもキャリブレーションの方が重要になる。そのトレードオフが意図的だったのか、それとも自然に生じたのかはともかく、このリリースで最も擁護できる点はそこにある。

冗長性の問題は、見せかけのコスト問題にすぎない

Artificial Analysisの報告によると、Nanbeige4.3-33BはIntelligence Indexで評価される際に1億6,000万個の出力トークンを生成した。同比較クラスの中央値モデルは7,770万個だった。同サイトの冗長性ランキングでは最下位、そのクラスの8モデル中8位で、中央値の約2.06倍に相当する。入力量は154億トークンで、出力対入力比は1.034%となる。

そこから二つのことが導かれる。第一に、20は購入するのに高くついたということだ。トークン単位で課金される場面では、同じ総合スコアに対して二倍のトークンを出力するモデルは、測定された能力あたりのコストがおよそ二倍になるが、この指標はその点を正規化していない。第二に、冗長性はコストの問題である前にレイテンシの問題だ。自前のGPU上で33Bの密なモデルが二倍のトークンを生成すれば、タスクを終えるのに二倍の時間がかかる。

Nanbeige自身の推奨設定は、その一部を説明するものであり、すべてを正当化するものではない。カードでは、推論とチャットに262,144トークンの上限、エージェント作業に65,536トークンの上限を求めており、思考はデフォルトでオンになっている。25万トークンまで思考してよいと告げられたモデルなら、その一部を使うだろう。しかし、クラス中央値は公平な比較だ。同じ指標に連なる他のモデルも推論モデルであり、2.06倍という倍率はその対照を経てもなお残る。

セルフホスト型のデプロイでは、実用的な解決策はモデルの変更ではなくトークン予算です。タスクごとの最大新規トークン数に上限を設け、カードのデフォルト値が自分のワークロードに適していると決めつける前に、8K、16K、32Kで自分の合格率を測定してください。ほとんどのエージェント的タスクはある点を超えると改善せず、このモデルはその点がどこかを教えてくれません。

外部の実行がベンダー自身の数値を上回った唯一の行

Nanbeigeのモデルカードは、Nanbeige4.3-33BのTerminal-Bench 4.0が23.8、Qwen3.8-27Bが6.3だと主張している。Artificial Analysisの測定値は29.8だった。独立した数値は高いラボが自社について公表した数値より

それははっきり述べる価値があるほど異例だ。なぜなら、この業界の標準的な失敗パターンは逆方向に進むからだ——ラボは自社のスキャフォールドが出す最良の数値を報告し、外部による再実行はそれより低くなる。ベンダーが自社のエージェントスコアを過少報告するということは、彼らの側で別のハーネスを使っているか、意図的に保守的な主張をしているか、最終チェックポイントより前に作られた表であることを示唆する。どれも悪くはない。ただ、どれもベンダーの表が上限ではなく、上限として読むべきではないことを意味している。

ベンダーの各行が信頼できるという結論にはならない。Nanbeigeの表で最大の主張、すなわちDeepSWEの65.5対Qwenの42.5、SWE-Atlas-QnAの50.8対41.9には、まだ独立した対応結果が存在しない。しかも両方ともスキャフォールドに敏感なベンチマークであり、そこではモデルの品質よりもハーネスの選択がスコアを大きく左右する。Terminal-Benchの結果が示すのは、より限定的でより有用なことだ。すなわち、主張のエージェント的な方向性は本物である。個々の行における規模は、依然として未検証である。

これを試してみたいチームがどうなるか

アクセスに関しては何も変わっていない。呼び出すエンドポイントも、料金表も、プロバイダーの一覧もない。重みはApache 2.0の下でHugging Face上にあり、サービング経路は自前のハードウェア上でvLLM、SGLang、またはTransformersだ。bfloat16チェックポイントは14シャードで合計66.3 GB、512KコンテキストではKVキャッシュだけで約104 GiBになる。そのため実用的な構成は、1枚の大型カードではなく4-wayテンソル並列だ。

変わったのは、デューデリジェンスの高コストな部分を今なら省略できるということだ。今週以前にNanbeige4.3-33Bを評価するなら、エージェント性能に関する主張が中立なハーネスとの接触に耐えるかどうかを確かめるために、GPUを4台用意する必要があった。Terminal-Bench 4.0での29.8というスコアは最初の問いに答える——方向性は正しい——そして冗長性の数値は誰も尋ねていなかった問い、つまり完了したタスク1件あたり何トークン分のコストがかかるかに答える。

今日すぐに実際に呼び出せる比較対象が欲しいなら、Qwen3.8-27Bが自然な対照です。総合スコア、公開価格、262Kのコンテキストウィンドウが同じです。それはOrcaRouter上で100万入力トークンあたり$0.33で動作し、100万出力トークンあたり$2.40で、カタログの他のモデルと同じキーを使い、プロバイダーの定価をマークアップなしでそのまま適用します。あなたのタスクセットを、ホスト型モデルと、1つのルーティングルールの下にあるセルフホスト型モデルに対して実行することは、自前のハードウェア上の33B denseチェックポイントが、トークン単位でレンタルする27Bを上回るかどうかを知るための最も安価な方法です。そしてそれは、Intelligence Indexがあなたに代わって答えられない問いです。なぜなら、それはあなたのタスクが何かも、あなたのGPUのコストがいくらかも知らないからです。

まだ本当に不明な点は限られている。このモデルが教えるために存在する蒸留ターゲットであるNanbeige4.3-3Bが、そのキャリブレーションのいずれかを継承するのかどうか。冗長性が生徒モデルでも残るのかどうか——2倍のトークンを出力する小さなモデルは、はるかに安上がりな誤りだからだ。そして、非ハルシネーションの結果がOmniscienceハーネスの外でも成り立つのかどうか。81.8%は注目すべき数字であり、注目すべき数字は、誰かがその上にパイプラインを構築する前に再検討される価値がある。